CentOS hadoop 分布式集群的搭建

从伪分布式到分布式，只差两个配置文件（slaves、masters）的事；

定集群中的全部节点，彼此之间已实现免密码登录（共$A_n^{n-1}$对关系），节点都配置好hadoop（每个节点上的伪分布式已搭建完毕，伪分布式的搭建参见 CentOS hadoop 伪分布式安装步骤 ）和jdk，以及环境变量的设置。环境设置完毕之后，此时我们开始集群的搭建与部署。

• （1）主从节点的确定，也即分布式集群结构的确定（落实到真正的操作，其实只是主节点的配置文件/conf/…）

• （2）修改主节点中 hadoop 的配置文件，也即/conf/slaves文件（设置从节点），如果我们想将 secondarynamenode设置到其他节点，则通过/conf/masters设置（将你要设置为secondarynamenode的主机的主机名添加进masters文件）。

• （3）此时分布式结构即已搭建完毕，便可进行格式化（初始化），然后启动

hadoop namenode -format
start-all.sh
                        # 这就是环境变量设置的好处
                        # 执行start-all.sh的脚本，
                        # 并不需要我们每次都跳转到`/hadoop/bin/`下，才可执行`start-all.sh`

根据输出信息，我们可获知hadoop集群的启动顺序：

• （1） 在主节点（如hadoop0）上启动，namenode，并向/usr/local/hadoop0/logs/中填写相关日志信息；

  最终hadoop会在其根目录下创建logs文件夹（如果没有的话），新建并将启动信息（成功失败与否）填写进如下的配置文件：

  hadoop-root-jobtracker-hadoop0.log
  hadoop-root-jobtracker-hadoop0.out
  hadoop-root-namenode-hadoop0.out
  hadoop-root-namenode-hadoop0.log
  hadoop-root-secondarynamenode-hadoop0.log
  hadoop-root-secondarynamenode-hadoop0.out

• （2） 在各从节点（如hadoop1、hadoop2）分别先后启动各自的datanode，

  自然从节点下的日志信息关于两方面（datanode、TaskTracker）：

  hadoop-root-datanode-hadoop1.log
  hadoop-root-datanode-hadoop1.out
  hadoop-root-tasktracker-hadoop1.log
  hadoop-root-tasktracker-hadoop1.out

• （3） 在主节点上启动 secondarynamenode，JobTracker

• （4） 在各从节点分别先后启动各自的 TaskTracker

使用 stop-all.sh 关闭的顺序主要为：

stopping jobtracker（hadoop0，主节点）
hadoop1: stopping tasktracker
hadoop2: stopping tasktracker
stopping namenode（hadoop0，主节点）
hadoop2: stopping datanode
hadoop1: stopping datanode
localhost: stopping secondarynamenode（hadoop0，主节点）