CentOS7搭建伪分布式Hadoop（全过程2023）

已于 2023-05-22 17:33:18 修改
阅读量1.4k 收藏 11
点赞数 1
分类专栏： Hadoop 文章标签： hadoop centos 分布式
于 2023-05-21 19:16:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51976555/article/details/116407478
版权

具体操作目录

1.配置静态ip

2.关闭防火墙

在这里插入图片描述
在这里插入图片描述

3.修改主机名为 master ，并重启虚拟机

vi /etc/hostname

在这里插入图片描述

4.修改主机名与ip映射

在这里插入图片描述

5.设置SSH免密登录

在这里插入图片描述
在这里插入图片描述

6.安装配置java环境

可以使用XFTP，用物理主机链接虚拟机的centos传送java文件，或者直接去java官网下载文件，解压。配置文件，启动配置。
验证java是否配置好
输入：

java
javac
java -version

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

----------------------正式Hadoop配置

1.移动安装包到合适位置

在这里插入图片描述

2.解压安装包并重命名

在这里插入图片描述
在这里插入图片描述

3.配置环境变量

在这里插入图片描述
在这里插入图片描述

4.修改hadoop的核心配置文件：

修改六个配置文件hadoop-env.sh
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.启动与停止Hadoop

5.1NameNode格式化

启动hadoop之前需要格式化(具体在出现的问题第六点）

5.2启动、停止HDFS

在这里插入图片描述
验证：
在这里插入图片描述

5.3启动停止yarn

出现错误，解决和验证见问题8
成功：（到此hadoop安装配置就完结啦！）在这里插入图片描述

6.访问Hadoop

通过web 浏览器访问Hadoop的集群环境

出现的问题：

1.在这里插入图片描述

在/etc目录下修改sudoers文件，赋予权限。

2.为什么有步骤4

3.

下载hbase.bin.tar.gz（这里下的是2.2.2，因为我的hadoop是3.1.3版本的）
下载地址：https://archive.apache.org/dist/hbase/2.2.2/

4.为什么从8020变成了9000

5.配置完hadoop-env.sh文件后，运行命令：hadoop version

出现报错：ERROR: /usr/lib/jvm/bin/java is not executable
在这里插入图片描述

解决：本文件中的路径要与Java的配置文件（/etc/profile中的完全一致）
解决后，再次运行hadoop version
出现内容如下：
在这里插入图片描述

6.格式化错误

WARNING: /usr/local/hadoop/logs does not exist. Creating.
mkdir: 无法创建目录"/usr/local/hadoop/logs": 权限不够

在这里插入图片描述
命令如下：
在这里插入图片描述

7.报错：Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts.

（还没去解决）

8.报错：start-yarn.sh Starting resourcemanagers on [] ERROR: /usr/lib/jvm/bin/java is not executable.

解决：
yarn-env.sh文件配置错误，java环境错误，要与java_home的完全一致在这里插入图片描述

~晚风微凉~
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
Centos下配置Hadoop集群（手把手教学）
别下完这场雪
06-03 442
之前用Ubuntu配置过一次Hadoop集群，但是遇到了各种各样的问题，装了两天都没装好。最后快结束的时候放弃了，因为是真的找不到问题解决方法。 有用Ubuntu安装的可以参考一下。 https://blog.csdn.net/weixin_45468845/article/details/106404724 现在我换了Centos配置hadoop集群，弄不好就退学。 假设虚拟机已经安装好了。 我的版本是centos6.8，安装系统可以参考下面这篇博客，傻瓜式手把手教学。很详细。 https://blog.
CentOS7搭建Hadoop集群
最新发布
指针先生
02-07 2093
10、部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停。-- 配置该user(superUser)允许通过代理访问的主机节点 -->-- 把多个NameNode的地址组装成一个集群mycluster -->-- 配置该user(superUser)允许通过代理用户所属组 -->-- 配置该user(superUser)允许通过代理的用户-->-- 指定hadoop运行时产生文件的存储目录 -->-- 配置HDFS网页登录使用的静态用户为user -->
CentOS 7中搭建分布式Hadoop环境.docx
09-10
Centos7中搭建完全分布式Hadoop，本文将详细介绍Hadoop搭建过程，一步步教会各位同事如何搭建Hadoop，从最初的文件配置到Hadoop测试，再到Hadoop实例程序 。
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 3660
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
CentOS下安装伪分布式Hadoop-1.2.1
11-25
CentOS下安装伪分布式Hadoop-1.2.1
Hbase常见问题
奔跑的豆子的专栏
01-16 1494
常见问题 问题一 localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. 解决：执行SSH设置和密钥生成操作 问题二 Unable to load native-hadoop library for your platform... using builti
CentOS 7.7 远程SSH连接不上问题解决
热门推荐
qq_19783793的博客
04-26 1万+
1.检查主机与目标服务器是否能相互ping通 在主机上 cmd --> telnet 192.168.199.227 22 -- 目标机器的ip、端口 如果主机无法使用telnet命令,则需要打开Telnet客户端,控制面板 --> 程序 --> 卸载或更改程序 --> 打开或关闭Windows功能 --> 选中Telnet客户端 2.查看linux是否安装...
CentOS7搭建hadoop集群
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
虚拟机centos7配置Hadoop单节点伪分布配置教程
张小鱼的博客
03-27 1733
本文主要介绍centos7配置Hadoop单节点伪分布式配置的步骤，以下是配置过程演示！！！文档说明：后期的命令前面的#不包含在命令当中，命令是#后面的！！！Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。如有问题、建议，请您在评论区留言💬哦。
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
1.启动集群时出错： mkdir: cannot create directory ‘/home/user/bigdata/hadoop/logs’ : Permission denied 2.查看log日志文件 Cannot create directory /root/bigdata/hadoop/dfs/name/current
Centos7安装部署Hadoop集群
xixixilalalahaha的博客
06-06 986
简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽
Hadoop伪分布与完全分布式的安装
weixin_44387652的博客
05-27 855
Hadoop安装1、基础集群环境准备(Centos7)1.1 修改主机名1.2 配置 hadoop 用户 sudoer 权限1.3 配置 IP地址1.4 关闭防火墙/关闭 Selinux1.5 添加内网域名映射1.6 安装 JDK1.7 同步服务器时间1.8 配置免密登录2、Hadoop 集群环境安装2.1 Hadoop 版本选择2.2 hadoop 伪分布式模式安装2.3 hadoop 完全分布式模式安装3、集群初步使用3.1 Hadoop 集群启动3.2 HDFS 集群初步使用 1、基础集群环境准备(C
HDFS命令操作
shenhao-stu的博客
04-04 2477
HDFS命令操作 实验内容 在上述前提条件下，这个实验学习HDFS其它未遇到过的命令。 实验步骤 1.点击桌面的"命令行终端"，打开新的命令行窗口 2.启动HDFS 启动HDFS，在命令行窗口输入下面的命令： /apps/hadoop/sbin/start-dfs.sh 运行后显示如下，根据日志显示，分别启动了NameNode、DataNode、Secondary NameNode： dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh Starting name
CentOS 7 上hadoop伪分布式搭建全流程完整教程
qq_52584391的博客
10-21 3780
centos7 上hadoop搭建详细步骤
hadoop-master: Warning: Permanently added ‘hadoop-master‘ (ECDSA) to the list of known hosts.
qq 117791303
08-31 3032
hadoop-master: Warning: Permanently added 'hadoop-master' (ECDSA) to the list of known hosts.
centOS 7下Hadoop伪分布式搭建
wicjwnx的博客
09-02 3131
centOS下Hadoop伪分布式搭建
centos9 hadoop伪分布搭建
06-01
CentOS 9 目前还没有正式发布，因此无法在 CentOS 9 上安装 Hadoop，不过你可以在 CentOS 7 上进行安装。以下是安装步骤： 1. 安装 Java 首先需要安装 Java，可以使用以下命令安装 OpenJDK： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载 Hadoop 可以前往 Hadoop 官网 http://hadoop.apache.org/releases.html 下载最新版本的 Hadoop。选择稳定版本，下载后解压到指定目录。例如： ``` cd /opt sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz sudo tar -xvzf hadoop-3.3.1.tar.gz ``` 3. 配置环境变量 为了方便使用，可以将 Hadoop 的 bin 目录添加到系统环境变量中。可以在 /etc/profile 文件中添加以下内容： ``` export HADOOP_HOME=/opt/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使配置生效： ``` source /etc/profile ``` 4. 配置 Hadoop 进入 Hadoop 的配置目录，编辑 core-site.xml 文件，添加以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 编辑 hdfs-site.xml 文件，添加以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop-3.3.1/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop-3.3.1/hdfs/datanode</value> </property> </configuration> ``` 编辑 yarn-site.xml 文件，添加以下内容： ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 5. 格式化 Hadoop 文件系统 执行以下命令格式化 Hadoop 文件系统： ``` hdfs namenode -format ``` 6. 启动 Hadoop 执行以下命令启动 Hadoop： ``` cd $HADOOP_HOME sbin/start-all.sh ``` 以上步骤基本完成了在 CentOS 7 上安装和启动 Hadoop 的过程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

~晚风微凉~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值