Hadoop04【集群环境搭建】

指定NameNode的地址和hadoop运行时产生文件的存储目录。

fs.defaultFS

hdfs://hadoop-node01:9000

hadoop.tmp.dir

/root/apps/hadoop/hdfsdata

3.hdfs-site.xml

---

指定副本的存储个数，及secondaryNameNode的存储地址

dfs.replication

1

dfs.secondary.http.address

hadoop-node01:50090

4.mapred-site.xml

---

首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

mapreduce.framework.name

yarn

5.yarn-site.xml

---

指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

yarn.resourcemanager.hostname

hadoop-node01

yarn.nodemanager.aux-services

mapreduce_shuffle

6.slaves

---

指定DataNode的地址。

三、内容分发

====================================================================

在hadoop-node01节点配置完成后，我们可以一次性将hadoop文件夹分发给其他几个节点。

scp -r hadoop hadoop-node02:/root/apps/

scp -r hadoop hadoop-node03:/root/apps/

scp -r hadoop hadoop-node04:/root/apps/

四、环境变量配置

======================================================================

配置hadoop的环境变量，便于操作。

export HADOOP_HOME=/root/apps/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

其他几个节点分发或者配置下

source /etc/profile

五、HDFS格式化

=======================================================================

只需要在NameNode的节点上面格式化一次就可以了

hadoop namenode -format

注意只需要格式一次，在nameNode上格式化。

六、启动hdfs

======================================================================

在hadoop-node01上执行

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

面试资料整理汇总

这些面试题是我朋友进阿里前狂刷七遍以上的面试资料，由于面试文档很多，内容更多，没有办法一一为大家展示出来，所以只好为大家节选出来了一部分供大家参考。

面试的本质不是考试，而是告诉面试官你会做什么，所以，这些面试资料中提到的技术也是要学会的，不然稍微改动一下你就凉凉了

在这里祝大家能够拿到心仪的offer！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
381408702)]

这些面试题是我朋友进阿里前狂刷七遍以上的面试资料，由于面试文档很多，内容更多，没有办法一一为大家展示出来，所以只好为大家节选出来了一部分供大家参考。

面试的本质不是考试，而是告诉面试官你会做什么，所以，这些面试资料中提到的技术也是要学会的，不然稍微改动一下你就凉凉了

在这里祝大家能够拿到心仪的offer！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！