配置yarn-site.xml
yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle
yarn.nodemanager.pmem-check-enabled false
yarn.nodemanager.vmem-check-enabled false
yarn.log-aggregation-enable true
yarn.log.server.url http://node1:19888/jobhistory/logs
yarn.log-aggregation.retain-seconds 604800
配置workers
//输入各主机地址
192.168.10.130
192.168.10.131
192.168.10.132
复制hadoop文件给另外两台文件到该路径下
scp -r hadoop-3.1.3 root@hadoop131: P W D s c p − r h a d o o p − 3.1.3 r o o t @ h a d o o p 132 : PWD scp -r hadoop-3.1.3 root@hadoop132: PWDscp−rhadoop−3.1.3root@hadoop132:PWD
## 3.初始化hadoop
初始化
hdfs namenode -format
format只能进行一次,只对hadoop130初始化即可,如果多次format除了造成数据丢失外,还会导致 hdfs集群主从角色之间互不识别。通过删除所有机 器hadoop.tmp.dir目录重新format解决。
## 4.集群启停
在hadoop130上,使用软件自带的shell脚本一键启动。
前提:配置好机器之间的SSH免密登录和workers文件。
HDFS集群 :start-dfs.sh
stop-dfs.sh
YARN集群 :start-yarn.sh
stop-yarn.sh
Hadoop集群 :start-all.sh
stop-all.sh
单个关闭:hdfs --daemon stop/start datanode
yarn --daemon stop/start nodemanager
启动完毕之后可以使用jps命令查看进程是否启动成功
hadoop130:NameNode,DateNode,NodeManager,ResourceManager
hadoop131:SecondaryNameNode,DateNode,NodeManager
hadoop132:DateNode,NodeManager
Hadoop启动日志路径:/opt/hadoop/hadoop-3.1.3/logs/
**HDFS集群可视化界面:http://hadoop130:9870**
**YARN集群可视化界面:http://hadoop130:8088**
**Q1:网页拒绝连接**
(1)防火墙没关
(2)windows的hosts未设置主机名,只能用IP地址登录,或者去配置hosts
![img](https://img-blog.csdnimg.cn/img_convert/23944cb5dd9ca926d150264bfe71ba3b.png)
![img](https://img-blog.csdnimg.cn/img_convert/641aef5dc6c98af02e5aa924c331f4d7.png)
![img](https://img-blog.csdnimg.cn/img_convert/5179d024f286e1d3436eee7d6446bbbf.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**