2024年Hadoop入门 day2，那些进了大厂的程序员面试前都做了哪些准备

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

mapreduce.jobhistory.webapp.address
hadoop130:19888

yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}

配置yarn-site.xml

yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800

配置workers

//输入各主机地址

192.168.10.130
192.168.10.131
192.168.10.132

复制hadoop文件给另外两台文件到该路径下

scp -r hadoop-3.1.3 root@hadoop131:$PWDscp-rhadoop-\mathrm{3.1.3}root@hadoop132:$PWD

## 3.初始化hadoop


初始化

hdfs namenode -format

format只能进行一次，只对hadoop130初始化即可，如果多次format除了造成数据丢失外，还会导致 hdfs集群主从角色之间互不识别。通过删除所有机 器hadoop.tmp.dir目录重新format解决。


## 4.集群启停


在hadoop130上，使用软件自带的shell脚本一键启动。


前提：配置好机器之间的SSH免密登录和workers文件。


HDFS集群 ：start-dfs.sh                 


                      stop-dfs.sh 


YARN集群 ：start-yarn.sh               


                     stop-yarn.sh 


Hadoop集群 ：start-all.sh                 


                         stop-all.sh


单个关闭：hdfs --daemon stop/start datanode


                  yarn --daemon stop/start nodemanager


启动完毕之后可以使用jps命令查看进程是否启动成功


hadoop130：NameNode,DateNode,NodeManager,ResourceManager


hadoop131:SecondaryNameNode,DateNode,NodeManager


hadoop132:DateNode,NodeManager


Hadoop启动日志路径：/opt/hadoop/hadoop-3.1.3/logs/


**HDFS集群可视化界面：http://hadoop130:9870**


**YARN集群可视化界面：http://hadoop130:8088**


**Q1:网页拒绝连接**


（1）防火墙没关


（2）windows的hosts未设置主机名，只能用IP地址登录，或者去配置hosts


         C:\Windows\System32\drivers\etc\hosts


         在里面添加虚拟机的IP地址，主机名称，之后可以在cmd中**ping 主机名称**来检测


（3）虚拟机网络连接不正常


![img](https://img-blog.csdnimg.cn/img_convert/4eaeca6e7a344df8e5786830a50385ff.png)
![img](https://img-blog.csdnimg.cn/img_convert/e272f3b7f8a02f32d1dbca4d73bf58ba.png)
![img](https://img-blog.csdnimg.cn/img_convert/cfa7bce899a523e210070648071bb9a9.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**