Hadoop完全分布式集群配置（续）

前面的步骤看博主这篇文章~

给出连接：hadoop集群拓扑配置_资深咸鱼~的博客-CSDN博客

现在我们配置剩下的内容：

注意下面标蓝的master：因为博主这里的主机名是master，所以才是master，记得改成自己的主机名

1.修改core-site.xml配置文件，具体修改集群中NameNode 结点的 URI 的值为

“hdfs://【主机名】:9000”

<property>

       <name>fs.defaultFS</name>

       <!-- 集群中 NameNode 结点的 URI-->

       <value>hdfs://master:9000</value>

</property>

2.修改 hdfs-site.xml 配置文件，追加“dfs.namenode.secondary.http-address” 属性，并修改“dfs.replication”属性值为 2

<!-- secondaryName http 服务的地址和端口 -->

<property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>master:50090</value>

</property>

<!-- 数据备份数量 -->

<property>

       <name>dfs.replication</name>

       <value>2</value>

</property>

3.修改mapred-site.xml配置文件，追加“mapreduce.jobhistory.address”和“mapreduce.jobhistory.webapp.addres”属性

<!--MapReduce 历史工作信息服务 IPC 地址 -->

<property>

       <name>mapreduce.jobhistory.address</name>

       <value>master:10020</value>

</property>

<property>

       <!--MapReduce 历史工作信息服务 Web 地址 -->

       <name>mapreduce.jobhistory.webapp.address</name>

       <value>master:19888</value>

</property>

4.修改 yarn-site.xml 配置文件，具体修改集群中“yarn.resourcemanager.hostname”的值为 master

<property>

       <name>yarn.resourcemanager.hostname</name>

       <value>master</value>

</property>

5.修改 slaves 从机配置文件（输入自己的hadoop中slaves的路径）

输入：vi /opt/hadoop/etc/hadoop/slaves

将slaves中的东西删除改为三个从机的名字

以下配置都是输入自己文件所在位置，并且只是在主机上执行操作

6. 将 jdk 文件远程拷贝到其他机器

输入：scp -r /opt/module/jdk1.8.0_202 slave01:/opt/module/jdk1.8.0_202

scp -r /opt/module/jdk1.8.0_202 slave02:/opt/module/jdk1.8.0_202

scp -r /opt/module/jdk1.8.0_202 slave03:/opt/module/jdk1.8.0_202

7. 将 hadoop 文件远程拷贝到其他机器

输入：scp -r /opt/module/hadoop-2.7.1 slave01:/opt/hadoop

scp -r /opt/module/hadoop-2.7.1 slave02:/opt/hadoop

scp -r /opt/module/hadoop-2.7.1 slave03:/opt/Hadoop

8. hadoop-record 文件远程拷贝到其他机器

输入：scp -r /opt/hadoop-record slave01:/opt/hadoop-record

scp -r /opt/hadoop-record slave02:/opt/hadoop-record

scp -r /opt/hadoop-record slave03:/opt/hadoop-record

9. 将 hadoop-eco.sh 文件远程拷贝到其他机器

输入：scp -r /etc/profile.d/my_env.sh slave01:/etc/profile.d/hadoop-eco.sh

source /etc/profile.d/hadoop-eco.sh

scp -r /etc/profile.d/my_env.sh slave02:/etc/profile.d/hadoop-eco.sh

source /etc/profile.d/hadoop-eco.sh

scp -r /etc/profile.d/my_env.sh slave03:/etc/profile.d/hadoop-eco.sh

source /etc/profile.d/hadoop-eco.sh

10.在各台机器上关闭防火墙

输入：systemctl stop firewalld.service

11.在各台机器上禁止防火墙

输入：systemctl disable firewalld.service

12.在主机上格式化系统（警慎）

输入：hdfs namenode -format

PS：最好在格式化之前再检查一遍之前的配置有没有问题！！！多次格式化会导致DataNode无法启动！！

避免之后更复杂的操作！！！！

13.在主机上启动HDFS

输入：start-dfs.sh

14．在主机上启动YARN

输入：start-yarn.sh

 15.查看进程

输入：jps

如果主机出现NameNode，从机出现DataNode，则配置成功

或者进入端口50070查看：

 配置结束！！