hadoop2.7.1分布式集群搭建图解

引言

网上有很多hadoop分布式部署的步骤和方法，但对于新手来说，搭建这样一套分布式环境，并不能对整个集群环境有一个整体的结构认识，因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作

第一步，配置主机名

Namenode节点对应的主机名为master
Datanode节点对应的主机名分别为node1、node2
分别配置master、node1和node2等机器的主机名

这些步骤作用很关键，如果配置不成功，进行分布式计算的时候有可能找不到主机名

第二步，配置主机互信

master能通过SSH免密码登录两个子结点

具体配置步骤，可以参考：hadoop2.7完全分布式集群搭建以及任务测试 这篇博文中的“安装SSH，并让master免验证登陆自身服务器、节点服务器”章节

第三步，配置master节点

第四步，同步master节点的程序和配置文件到各datanode

第五步，格式化namenode

在master节点上执行如下命令：

/usr/local/hadoop/hadoop-2.7.1/bin/hdfs namenode-format

第六步，启动/停止hadoop

主结点master上进行操作：

启动，执行完成后，master、node1和node2等节点的hadoop进程都会启动：

sh /usr/local/hadoop/hadoop-2.7.1/sbin/start-all.sh

停止，执行完成后，master、node1和node2等节点的hadoop进程都会停止：

sh /usr/local/hadoop/hadoop-2.7.1/sbin/stop-all.sh

第七步，查看hadoop状态

master：

node1：

node2：

至此，部署完成！

本文主要是通过图解的方式说明整个部署的流程，初学者可以有个整体的认识和把握，
详细的部署方法，可以参考：hadoop2.7完全分布式集群搭建以及任务测试