Hadoop入门 day2，二本学渣考研失败

mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop130:10020 mapreduce.jobhistory.webapp.address hadoop130:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.map.env HADOOP_MAPRED_HOME=${HADOOP_HOME} mapreduce.reduce.env HADOOP_MAPRED_HOME=${HADOOP_HOME}

配置yarn-site.xml

yarn.resourcemanager.hostname node1 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.log-aggregation-enable true yarn.log.server.url http://node1:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 604800

配置workers

//输入各主机地址

192.168.10.130
192.168.10.131
192.168.10.132

复制hadoop文件给另外两台文件到该路径下

scp -r hadoop-3.1.3 root@hadoop131:$PWDscp-rhadoop-\mathrm{3.1.3}root@hadoop132:$PWD

3.初始化hadoop

初始化

hdfs namenode -format

format只能进行一次，只对hadoop130初始化即可，如果多次format除了造成数据丢失外，还会导致 hdfs集群主从角色之间互不识别。通过删除所有机 器hadoop.tmp.dir目录重新format解决。

4.集群启停

在hadoop130上，使用软件自带的shell脚本一键启动。

前提：配置好机器之间的SSH免密登录和workers文件。

HDFS集群 ：start-dfs.sh

stop-dfs.sh

YARN集群 ：start-yarn.sh

stop-yarn.sh

Hadoop集群 ：start-all.sh

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-jD9BULQ2-1712519280089)]