Hadoop完全分布式运行模式（六）群起集群

1. 配置slaves

[hadoop@hadoop102 hadoop]$ vi /opt/module/hadoop-2.7.2/etc/hadoop/slavesslaves

在该文件中增加如下内容：(讲文件只留下下面内容，不要多加空格和空行)

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
同步所有节点配置文件

[hadoop@hadoop102 ~]$ cd /opt/module/hadoop-2.7.2/etc/hadoop
[hadoop@hadoop102 hadoop]$ xsync slaves

2. 启动集群

（1）如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -format

（2）启动HDFS(这里注意主机名，我选择hadoop10启动hdfs)

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[hadoop@hadoop102 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[hadoop@hadoop103 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps

[hadoop@hadoop104 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

（3）启动YARN(注意，因为namenode和secondarynamenode我们分别放在了102和104，这里只能选择103启动yarn)

[hadoop@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。（因此这里选择三台虚拟机，分别存放ResouceManager，NameNode和SeconderyNode；Hadoop完全分布式运行模式（三）中有提到

（4）Web端查看SecondaryNameNode

注：进行此操作前需要关闭防火墙，如果出现问题，请看《关于hadoop在Linux下启动节点后Linux下能访问50070，而Windows下不能访问的解决方法》

（a）浏览器中输入：http://hadoop104:50090/status.html
（b）查看SecondaryNameNode信息，如图所示。

3. 集群基本测试

（1）上传文件到集群
上传小文件（仅测试，可以是别的文件）

[hadoop@hadoop102 hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/hadoop/input
[hadoop@hadoop102 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/hadoop/input

上传大文件

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -put
 /opt/software/hadoop-2.7.2.tar.gz  /user/hadoop/input

（2）上传文件后查看文件存放在什么位置
（a）查看HDFS文件存储路径

[hadoop@hadoop102 subdir0]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

（b）查看HDFS在磁盘存储文件内容

[hadoop@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
hadoop
hadoop

（3）拼接

-rw-rw-r--. 1 hadoop hadoop 134217728 5月  23 16:01 blk_1073741836
-rw-rw-r--. 1 hadoop hadoop   1048583 5月  23 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 hadoop hadoop  63439959 5月  23 16:01 blk_1073741837
-rw-rw-r--. 1 hadoop hadoop    495635 5月  23 16:01 blk_1073741837_1013.meta
[hadoop@hadoop102 subdir0]$ cat blk_1073741836>>tmp.file
[hadoop@hadoop102 subdir0]$ cat blk_1073741837>>tmp.file
[hadoop@hadoop102 subdir0]$ tar -zxvf tmp.file

（4）下载

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop fs -get /user/hadoop/input/hadoop-2.7.2.tar.gz ./