Hadoop完全分布式集群——Hadoop 集群测试

一、将hadoop、jdk安装包上传到集群的根目录下

[root@master ~]# hadoop fs -put /opt/hadoop-2.7.7.tar.gz /

[root@master ~]# hadoop fs -put jdk-8u131-linux-x64.tar.gz /

二、上传后查看文件在本地的路径

注意datanode设置在slave1、slave2上，须在salve节点上查看。

[root@slave1 ~]#/usr/local/hadoop-2.7.7/hdfs/data/current/BP-2139772002-192.168.128.130-1651159946826/current/finalized/subdir0/subdir0

三、拼接数据

由于数据是按块（Block Size为128MB）存储的，hadoop安装包208.59 MB，jdk安装包176.95 MB，均被分成了两块，按顺序可拼接在一起，拼接后分别命名为hadoop.tar.gz、jdk.tar.gz的压缩包。下图中hadoop.tar.gz、jdk.tar.gz即为拼接的数据。

四、从集群下载之前上传的hadoop安装包到本地的根目录下

[root@slave1 subdir0]# hadoop fs -get /hadoop-2.7.7.tar.gz ./

 五、官方wordcount案例测试

1.在本地新建一个word.txt文件，输入一些单词

[root@master ~]# vi word.txt

输入以下内容：

hello hadoop
study
today
tomorrow

按ESC键，输入:wq!保存退出。

2.在集群根目录中创建input文件夹，将word.txt上传到集群input 目录下

[root@master ~]# hadoop fs -mkdir /input/

[root@master ~]# hadoop fs -put word.txt /input/

3.

然后上传到