Hadoop篇.搭建Hadoop的全分布式模式

准备工作

1.至少需要三台机器；
2.安装Linux；
https://blog.csdn.net/lwf006164/article/details/90947874(上)
https://blog.csdn.net/lwf006164/article/details/91482171(下)
3.关闭防火墙；
https://blog.csdn.net/lwf006164/article/details/93379462
4.配置IP与主机名的映射关系；
https://blog.csdn.net/lwf006164/article/details/93379521
5.配置免密码登录；
https://blog.csdn.net/lwf006164/article/details/93380023
6.安装jdk1.8
https://blog.csdn.net/lwf006164/article/details/93378845
7.保证每天机器的时间一致

//设置一个时间
date -s 2019-03-02

第一步：修改hadoop-env.sh

//设置jdk安装目录
JAVA_HOME=/root/training/jdk1.8.0_144

第二步：修改hdfs-site.xml

<!--配置数据块的冗余度，默认是3-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--是否开启HDFS的权限检查，默认是true-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

第三步：修改core-site.xml

<!--配置HDFS主节点Namenode的地址,9000是RPC通信端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata08:9000</value>
</property>
<!--HDFS数据块和数据元信息保存在机器上的位置，默认保存在Linux的tmp目录中-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

第四步：用mapred-site.xml.template生成mapred-site.xml

<!--Mapreduce程序运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五步：修改yarn-site.xml

<!--配置yarn主节点的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata08</value>
</property>
<!--nodemanager执行mapreduce程序的方式：mapreduce_shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

第六步：对HDFS的Namenode（主节点）进行格式化

hdfs namenode -format

第七步：把主节点上配置好的hadoop目录复制给其他从节点

第八步：在主节点启动Hadoop

start-all.sh

第九步：验证Hadoop的命令

hdfs dfsadmin -report

结果：