(
1
)
如果集群是第一次启动
,需要在
hadoop102
节点格式化
NameNode
(注意:格式
化
NameNode
,会产生新的集群
id
,导致
NameNode
和
DataNode
的集群
id
不一致,集群找
不到已往数据。如果集群在运行过程中报错,需要重新格式化
NameNode
的话,一定要先停
止
namenode
和
datanode
进程,并且要删除所有机器的
data
和
logs
目录,然后再进行格式
化。)
1、配置workers文件
在workers文件里面添加如下内容:(注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。 )
然后同步所有节点配置文件:
2、启动集群
(
1
)
如果集群是第一次启动
,需要在
hadoop102
节点格式化
NameNode
(注意:格式
化
NameNode
,会产生新的集群
id
,导致
NameNode
和
DataNode
的集群
id
不一致,集群找
不到已往数据。如果集群在运行过程中报错,需要重新格式化
NameNode
的话,一定要先停
止
namenode
和
datanode
进程,并且要删除所有机器的
data
和
logs
目录,然后再进行格式
化。)
![](https://i-blog.csdnimg.cn/blog_migrate/8690f6be99099d47fe23fdb62f88682f.png)
初始化完成后,会多出两个文件data和logs:
![](https://i-blog.csdnimg.cn/blog_migrate/893d67593960fee41cce2bac72ff194d.png)
(2)启动HDFS
(3)在配置了 ResourceManager 的节点(hadoop103)启动 YARN
(4)Web 端查看 HDFS 的 NameNode
(a)浏览器中输入:
http://hadoop102:9870
(b)查看 HDFS
上存储的数据信息
(5)Web 端查看 YARN 的 ResourceManager
(a)浏览器中输入:
http://hadoop103:8088
(b)查看 YARN
上运行的
Job
信息
![](https://i-blog.csdnimg.cn/blog_migrate/b9a70639a48afd64e99fcd7edf980a22.png)
3、集群基本测试
(1)上传文件到集群
➢ 上传小文件
创建路径:
![](https://i-blog.csdnimg.cn/blog_migrate/d9a0522ed2a94826aea9dc10aab3e529.png)
上传文件:
![](https://i-blog.csdnimg.cn/blog_migrate/500b09165ad317c80341686d29f3ed43.png)
➢ 上传大文件
(2)上传文件后查看文件存放在什么位置
➢ 查看 HDFS 文件存储路径
➢ 查看 HDFS 在磁盘存储文件内容
(3)执行 wordcount 程序