在CentOS7.5上搭建Hadoop3.0.3完全分布式集群

单节点集群搭建请移步：

在CentOS7.5上搭建Hadoop3.0.3单节点集群

完全分布式集群拓扑图：

当前CentOS和JDK版本：

[root@master ~]# cat /etc/redhat-release 
CentOS Linux release 7.5.1804 (Core)
[root@master ~]# java -version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

可通过如下命令查看JAVA_HOME：

[root@master ~]# echo $JAVA_HOME
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-0.el7_5.x86_64/jre

所要搭建的Hadoop版本：

[root@master ~]# hadoop version
Hadoop 3.0.3
Source code repository https://yjzhangal@git-wip-us.apache.org/repos/asf/hadoop.git -r 37fd7d752db73d984dc31e0cdfd590d252f5e075
Compiled by yzhang on 2018-05-31T17:12Z
Compiled with protoc 2.5.0
From source with checksum 736cdcefa911261ad56d2d120bf1fa
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.0.3.jar

Hostname	HDFS	MapReduce/Yarn	IP
master	NameNode	ResourceManager	10.0.86.245
ceph1	DataNode	NodeManager	10.0.86.246
ceph2	DataNode	NodeManager	10.0.86.221
ceph3	DataNode	NodeManager	10.0.86.253

1.设置master(任选一个做好的单节点即可)

前提条件：已配好的hostname和hosts和一个已经配好单节点集群的master,若没配好见：在CentOS7.5上搭建Hadoop3.0.3单节点集群

①修改core-site.xml文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>

②修改yarn-site.xml文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8025</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8050</value>
</property>

③修改mapred-site.xml文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/mapred-site.xml 

<property>
  <name>mapred.job.tracker</name>
  <value>master:54311</value>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

④修改hdfs-site.xml文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 

这里其实就是在单节点的hdfs-site.xml文件基础上删除了namenode属性。如果此时启动start-dfs.sh和start-yarn.sh会少启一个namenode，这是因为namenode仅在master节点上，故等将此虚机复制到其他节点后再会单独配置此文件加上namenode属性。

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value> file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

⑤修改workers配置文件
在Hadoop-3.x版本中，需要修改的是workers文件，而在老版本的Hadoop-2.x中(如Hadoop-2.7.7)，则修改的是slaves文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/workers

把原有的localhost删除，并写入DataNode节点主机名

2.将配置好的Hadoop文件分发到其他节点

利用rsync将master节点上配置好的hadoop文件夹同步到ceph1、ceph2和ceph3上相同路径中，这样就不用重新在这些节点上下载Hadoop了。

[root@master ~]# rsync -avP /usr/local/hadoop ceph1:/usr/local/
[root@master ~]# rsync -avP /usr/local/hadoop ceph2:/usr/local/
[root@master ~]# rsync -avP /usr/local/hadoop ceph3:/usr/local/

3.设置master

• 重新配置hdfs-site.xml文件

[root@master ~]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value> file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>

4.登录到master、ceph1、ceph2和ceph3并分别重建HDFS目录

①重建master的namenode文件夹

[root@master ~]# rm -rf /usr/local/hadoop/hadoop_data/hdfs
[root@master ~]# mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
[root@master ~]# chown -R root:root /usr/local/hadoop

②重建其余节点的datanode文件夹

[root@master ~]# ssh ceph1
[root@ceph1 ~]# rm -rf /usr/local/hadoop/hadoop_data/hdfs
[root@ceph1 ~]# mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
[root@ceph1 ~]# chown -R root:root /usr/local/hadoop
[root@master ~]# ssh ceph2
...
[root@master ~]# ssh ceph3
...

③格式化HDFS目录并启动服务
回到master节点下格式化HDFS目录：

[root@master ~]# hadoop namenode -format
[root@master ~]# start-dfs.sh
[root@master ~]# start-yarn.sh 

启动成功后在master下能看到有四个进程。

启动成功后在ceph1~ceph3下能看到有三个进程。

5.开启Hadoop Web界面

ResourceManager地址 http://localhost:8088/
此处我的地址是：http://10.0.86.245:8088/
NameNode HDFS Web地址 http://localhost:9870/
此处我的地址是：http://10.0.86.245:9870/

打开本机浏览器，分别输入上面两个链接出现如下页面则启动成功。可在8088页面中看到有三个活节点。

可以看到HDFS也成功启动了三个活节点。


小结：
datanode（数据节点）主要负责数据的存储。
namenode（命名节点）主要负责三个功能，分别是
(1)管理元数据
(2)维护目录树
(3)响应客户请求

注：

1）如出现下图，节点中没有jps，则需要安装JDK开发插件。

先检查openjdk版本

安装java-1.8.0-openjdk-devel后即可正常使用jps

[root@master ~]# yum install -y java-1.8.0-openjdk-devel

2）如果启动start-dfs.sh和start-yarn.sh报错如下，则是之前设置Hadoop目录权限的时候设置用户名和组名都为root了。

[root@master ~]# start-dfs.sh 
Starting namenodes on [localhost]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [master]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
2018-11-26 09:29:54,896 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

1）则需要修改/usr/local/hadoop/sbin/路径下的start-dfs.sh和stop-dfs.sh配置文件

[root@master ~]# vim /usr/local/hadoop/sbin/start-dfs.sh 
[root@master ~]# vim /usr/local/hadoop/sbin/stop-dfs.sh

在配置文件顶部加入如下四行参数。

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2）还需要修改/usr/local/hadoop/sbin/路径下的start-yarn.sh和stop-yarn.sh配置文件

[root@master ~]# vim /usr/local/hadoop/sbin/start-yarn.sh 
[root@master ~]# vim /usr/local/hadoop/sbin/stop-yarn.sh

在配置文件顶部加入如下三行参数。

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

现在启动成功~！