Hadoop完全分布式运行模式<开发重点>: 群起集群
1. 配置 slaves
Path: /opt/module/hadoop-2.7.2/etc/hadoop/slaves
[atguigu@hadoop102hadoop]$ vi slaves
在该文件中增加如下内容:
hadoop102
hadoop103
hadoop104
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件
[atguigu@hadoop102hadoop]$ xsync slaves
2. 启动集群
- 如果集群是第一次启动,需要格式化NameNode
注意: 格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据
[atguigu@hadoop102hadoop-2.7.2]$ bin/hdfs namenode -format
- 启动 HDFS
[atguigu@hadoop102hadoop-2.7.2]$ sbin/start-dfs.sh [atguigu@hadoop102hadoop-2.7.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode [atguigu@hadoop103hadoop-2.7.2]$ jps 3218 DataNode 3288 Jps [atguigu@hadoop104hadoop-2.7.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps
- 启动 YARN
[atguigu@hadoop103hadoop-2.7.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动YARN,应该在ResouceManager所在的机器上启动YARN。
- Web端查看SecondaryNameNode
- 浏览器中输入:http://hadoop104:50090/status.html
- 查看SecondaryNameNode信息
3. 集群基本测试
- 上传文件到集群
上传小文件 [atguigu@hadoop102hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/atguigu/input [atguigu@hadoop102hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/atguigu/input 上传大文件 [atguigu@hadoop102hadoop-2.7.2]$ bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu/input
- 上传文件后查看文件存放在什么位置
(a)查看HDFS文件存储路径 [atguigu@hadoop102subdir0]$ pwd /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0 (b)查看HDFS在磁盘存储文件内容 [atguigu@hadoop102subdir0]$ cat blk_1073741825 hadoopyarn hadoopmapreduce atguigu atguigu
- 拼接
[atguigu@hadoop102subdir0]$ cat blk_1073741836>>tmp.file [atguigu@hadoop102subdir0]$ cat blk_1073741837>>tmp.file [atguigu@hadoop102subdir0]$ tar -zxvf tmp.file
- 下载
[atguigu@hadoop102hadoop-2.7.2]$ bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz ./