基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包

centos 7：Index of /apache/hadoop/common/hadoop-3.3.5

hadoop3.3.5：Index of /apache/hadoop/common/hadoop-3.3.5

#配置jdk环境

查看原本的jdk版本

 

其实原来的openjdk版本也是可用的，但是hadoop3.x不支持较低版本的jdk，所以这里卸载重新安装新版本jdk文件

执行yum remove *openjdk* 卸载原来的jdk

可以利用yum search openjdk命令查看源中有那些jdk版本，我这里选取的是java-11版本

执行 yum install -y “java版本”安装新的jdk 

 因为openjdk不配置jps包，所以得自行安装

再执行java -version查看java版本

java环境配置成功

#配置ssh

运行rpm -qa|grep -E “openssh”查看是否安装ssh

如果未安装ssh，运行yum install openssh-server -y、yum install openssh-clients -y

配置ssh（没什么特殊需求默认就行）

   

 运行service sshd restart 重启ssh,

开放防火墙的22端口

用Xshell尝试连接

运行ip addr查看本机ip，

将信息填入新建的xshell中

   

 填入那台机子的登录账号和密码

   

 点击连接，点击接受并保存

连接成功，这样接下来的命令操作基本上可以转到xshell里面操作

#下载安装hadoop 

因为我们是要设置分布式的hadoop，首先我们要完成一些前序步骤，配置好单台主机

关闭防火墙

 禁止防火墙开机启动

修改设备名称为hadoop00，重启计算机，配置结束后修改另外两个从节点计算机名为hadoop01，hadoop02。这里可以自行定义主机名称，但是要分清楚哪个是master哪些是slave

修改hosts文件，先把想要定义的另外两个从节点ip写入hosts

添加hadoop用户，添加完成后重新更改xshell的配置连接主机用户更换成hadoop

在根目录下新建一个hadoop文件夹，将此文件夹所有者设置为hadoop用户，方便以后存放hadoop相关文件

在刚才创建的hadoop文件中下载hadoop3.0，连接为顶上的连接

将下载的文件解压到当前文件夹中

运行vim /data/hadoop/hadoop-3.3.5/etc/hadoop/hadoop-env.sh 添加下面语句

在/etc/profile里配置全局hadoop，source /etc/profile重新启动

单台主机配置完成，可以开始克隆出另外几台主机

关闭主机，开始克隆

点击管理里面的克隆，选择创建完整克隆，选择好克隆到的位置，设置好名称。克隆两台虚拟机

#搭建Hadoop集群

 修改两台新建虚拟机名称

为三台虚拟机分别配置静态ip地址，配置到ens33网卡中

三台虚拟机分别进入修改ifcig-en33文件

Hadoop00和hadoop01

   

Hadoop02类似，IPADDR改为192.168.5.202，:wq保存退出，分别都运行systemctl restart network重启网卡

运行ping -c 3 hadoop01 / hadoop02测试是否连通

连通无误，网络配置结束

根据第二层的第5步的将三台主机配置到Xshell中，方便操作

为几台虚拟机配置免密登录

 每台虚拟机都切换到/root文件夹中，运行 cd ~

   

接着运行： ssh-keygen -t rsa -P ‘’ 生成密钥 ，点击两次回车

查看密钥是否生成

在三台虚拟机的.ssh目录下创建新的文件 authorized_keys ,将三台虚拟机的ip_rsa.pub的密钥复制到authorized_keys里面

 三台机子都要配置好authorized_keys文件，这样才能保证 每一台机子都能免密登录

在hadoop00中运行ssh hadoop01 / hadoop02测试无密码连通

输入命令exit退出该主机

完成三台虚拟机的无密码登录

配置hadoop，先在hadoop00节点上操作

在root文件夹中新建hadoop文件夹

在hadoop文件夹中新建多个文件夹，这些文件夹复制存储hadoop的配置文件生成位置

      

用scp 命令将文件推送到hadoop01，hadoop02从节

修改/data/hadoop/hadoop-3.3.5/etc/hadoop下的文件配置

 为hadoop-env.sh添加jdk环境在文件末尾添加

  

.xml文件配置都写在configuration标签当中，当中写入的内容可以去看一下别的文章解析，这里就不过多分析了。

在 core-site.xml写入

在hdfs-site.xml写入

在mapred-site.xml写入

在workers写入从节点名称

在yarm-site.xml写入

回到上两层文件夹，切换到/sbin文件夹

在start-dfs.sh和stop-dfs.sh写入

在start-yarn.sh和stop-yarn.sh写入

运行vim /etc/selinux/config更改SELINUX值更改为 disabled

 将上面配置的Hadoop文件推送到从节点主机上

#配置完成，可以开始尝试启动Hadoop

初始化hadoop

切换到hadoop所在文件夹文件夹中

输入命令 hdfs namende -format初始化hadoop，

运行sbin/start-all.sh启动hadoop

 测试hadoop，打开浏览器输入 master主机ip+:9870

显示三台活跃主机

三台机子的datanode都正常显示

三台机子用jps查看都显示对应的程序启动了

hadoop00主节点

hadoop01主从节点

hadoop02从节点

浏览器打开 resourcemanager节点ip+:8088 访问

       Hadoop分布式集群搭建完成

	Hadoop00	Hadoop01	Hadoop02
HDFS	Namenode、Datanode	Secondarynamenode、Datanode	Datanode
YARN	Resourcemanager、Nodemanager	Nodemanager	Nodemanager

拓展

       想要添加新的节点，只需要新配置好的从节点（直接克隆一台机子），更改好ip和主机名称。将主机配置入etc/hadoop/workers再启动hadoop就成功完成添加新节点了