10.Hadoop_入门_群起集群并测试

群起集群并测试

---

提示：以下是本篇文章正文内容，下面案例可供参考

1.配置 workers

cd opt/module/hadoop-3.1.3/etc/hadoop/

编辑workers

vim workers

默认为localhost，删除localhost，插入以下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

2.格式化 NameNode

hdfs namenode -format

如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式
化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找
不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停
止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式
化。）

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

3. 启动 HDFS

sbin/start-dfs.sh

4.在配置了 ResourceManager 的节点（hadoop103）启动 YARN

sbin/start-yarn.sh

5.集群基本测试

（1）上传文件到集群

hadoop fs -mkdir /input

上传文件到根目录

hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /

上传之后来到http://hadoop102:9870/explorer.html#/查看

（2）上传文件后查看文件存放在什么位置

➢ 查看 HDFS 文件存储路径
[hadoop@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-507147917-192.168.10.102-1621764032267/current/finalized/subdir0/subdir0

---

总结

以上就是今天要讲的内容。