05_Hadoop集群配置

</property>
<!-- 指定 hadoop 数据的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.3.5/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为 ice -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>ice</value>
</property>

### 2、 配置 hdfs-site.xml



> 
> vim hdfs-site.xml
> 
> 
> 

<!-- nn web端访问地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop102:9870</value>
</property>
<!-- 2nn web端访问地址 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
</property>

### 3、 配置yarn-site.xml



> 
> vim yarn-site.xml
> 
> 
> 

<!-- 指定 MR 走 shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>

<!-- 运行mapreduce程序需要配置classpath -->
<property>
    <name>yarn.application.classpath</name>
    <value>
        <!-- 执行 hadoop classpath -->
        <!-- 将路径填在此处 -->
        /opt/module/hadoop-3.3.4/etc/hadoop:/opt/module/hadoop-3.3.4/share/hadoop/common/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/common/*:/opt/module/hadoop-3.3.4/share/hadoop/hdfs:/opt/module/hadoop-3.3.4/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/hdfs/*:/opt/module/hadoop-3.3.4/share/hadoop/mapreduce/*:/opt/module/hadoop-3.3.4/share/hadoop/yarn:/opt/module/hadoop-3.3.4/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/yarn/*
    </value>
</property>

### 4、 MapReduce 配置



> 
> vim mapred-site.xml
> 
> 
> 

<!-- 指定 MapReduce 程序 运行在 Yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

### 5、目前 只在 102 上做了 配置，分发 hadoop 配置文件

xsync /opt/module/hadoop-3.3.5/etc/hadoop

### 6、在103 104 查看分发 完成

cd /opt/module/hadoop-3.3.5/etc/hadoop

cat core-site.xml

### 7、配置 workers



> 
> vim /opt/module/hadoop-3.3.5/etc/hadoop/workers
> 
> 
> 



> 
> 集群 有几个 节点 就写几个  
>  该文件末尾不允许有 空格  
>  该文件全文不允许有 空行
> 
> 
> 

hadoop102
hadoop103
hadoop104

**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/5ee321d19804a9ab4de4b1993926bb96.png)
![img](https://img-blog.csdnimg.cn/img_convert/ce1c13bd3a190f317ce2d7275a4830ce.png)
![img](https://img-blog.csdnimg.cn/img_convert/cc03e16076956bbc4284f3f3213c0358.png)
![img](https://img-blog.csdnimg.cn/img_convert/9c93561cae297b107dda015d8694f9e3.png)
![img](https://img-blog.csdnimg.cn/img_convert/9b13bae0b09f4bb88ce2acf2c1dfd864.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/863a7fa3e3a49f351a2d4e9949f12ce0.png)

大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-c9VjqdaR-1712818935203)]