hadoop--群起集群并测试

最新推荐文章于 2024-03-15 16:17:15 发布

爱学习的Amelia

最新推荐文章于 2024-03-15 16:17:15 发布

阅读量302

点赞数

分类专栏： hadoop 文章标签： hadoop hdfs big data

本文链接：https://blog.csdn.net/weixin_46361294/article/details/123179851

版权

hadoop 专栏收录该内容

14 篇文章 1 订阅

订阅专栏

配置`workers`

[amelia@hadoop102 hadoop]$ vim /opt/module/hadoop-2.7.2/etc/hadoop/workers

在workers文件夹中添加以下内容

hadoop102
hadoop103
hadoop104

注意：添加的内容中不允许有空格，会发生错误。
同步所有节点配置文件

[amelia@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc

启动集群

如果集群时 第一次 启动，要在hadoop102节点格式化NameNode。（不格式化的话NameNode和DataNode的id不一致，找不到以往数据）

[amelia@hadoop102 hadoop-2.7.2]$ hdfs namenode -format

启动HDFS

[amelia@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

jps查看节点在这里插入图片描述

在hadoop103（配置了ResourceManager的节点）启动YARN

[amelia@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

jps查看节点
在这里插入图片描述

在web端查看HDFS的NameNode：浏览器中输入：http://hadoop102:9870，可以查看到HDFS上存储的信息。
在web端查看YARN的ResourceManager：浏览器中输入：http://hadoop103:8088，可以查看到YARN上运行的job信息。
在/opt/module/hadoop-2.7.2/data/dfs/data/current中有一个VERSION版本号，要记住，后面会用到。

#Sun Feb 27 20:24:58 CST 2022
storageID=DS-5208bf73-1ef3-4ab1-9525-16f45a3c4a89
clusterID=CID-67ca6cfd-151c-47df-96d1-7f51a014259b
cTime=0
datanodeUuid=35993dfc-feee-4b5f-880d-da84ff61d90d
storageType=DATA_NODE
layoutVersion=-56

集群基本测试

上传小文件

[amelia@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir /wcinput

在网页端出现了一个文件夹/wcinput
在这里插入图片描述
将文件上传到hadoop网页端的wcinput中：命令hadoop fs -put 目标文件目的地

[amelia@hadoop103 hadoop-2.7.2]$ hadoop fs -put wcinput/word.txt /wcinput

在这里插入图片描述

上传大文件

[amelia@hadoop102 hadoop-2.7.2]$ hadoop fs -put /opt/software/jdk-8u144-linux-x64.tar.gz /

在这里插入图片描述

在hadoop上的gz文件只是一个链接，实际存储在datanode上
HDFS文件存储路径：/opt/module/hadoop-2.7.2/data/dfs/data/current/BP-2052707604-10.0.10.102-1645962871841/current/finalied/subdir0/subdir0
再打开hadoop103，发现hadoop103中存有副本。
注意：路径不能写错！！！