Hadoop群起集群并测试

（ 1 ） 如果集群是第一次启动 ，需要在 hadoop102 节点格式化 NameNode （注意：格式

化 NameNode ，会产生新的集群 id ，导致 NameNode 和 DataNode 的集群 id 不一致，集群找

不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停

止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式

化。）

1、配置workers文件

在workers文件里面添加如下内容：（注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。 ）

然后同步所有节点配置文件：

 2、启动集群

（ 1 ） 如果集群是第一次启动 ，需要在 hadoop102 节点格式化 NameNode （注意：格式

化 NameNode ，会产生新的集群 id ，导致 NameNode 和 DataNode 的集群 id 不一致，集群找

不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停

止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式

化。）

初始化完成后，会多出两个文件data和logs：

 （2）启动HDFS

（3）在配置了 ResourceManager 的节点（hadoop103）启动 YARN

 

（4）Web 端查看 HDFS 的 NameNode

        （a）浏览器中输入： http://hadoop102:9870

        （b）查看 HDFS 上存储的数据信息

 

 

（5）Web 端查看 YARN 的 ResourceManager

        （a）浏览器中输入： http://hadoop103:8088

        （b）查看 YARN 上运行的 Job 信息

3、集群基本测试

 

（1）上传文件到集群

        ➢ 上传小文件

创建路径：

上传文件：

        ➢ 上传大文件 

（2）上传文件后查看文件存放在什么位置

        ➢ 查看 HDFS 文件存储路径

        ➢ 查看 HDFS 在磁盘存储文件内容 

（3）执行 wordcount 程序