05_Hadoop集群配置

<!-- nn web端访问地址 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop102:9870</value>
</property>
<!-- 2nn web端访问地址 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
</property>

### 3、 配置yarn-site.xml



> 
> vim yarn-site.xml
> 
> 
> 

<!-- 指定 MR 走 shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
</property>

<!-- 运行mapreduce程序需要配置classpath -->
<property>
    <name>yarn.application.classpath</name>
    <value>
        <!-- 执行 hadoop classpath -->
        <!-- 将路径填在此处 -->
        /opt/module/hadoop-3.3.4/etc/hadoop:/opt/module/hadoop-3.3.4/share/hadoop/common/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/common/*:/opt/module/hadoop-3.3.4/share/hadoop/hdfs:/opt/module/hadoop-3.3.4/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/hdfs/*:/opt/module/hadoop-3.3.4/share/hadoop/mapreduce/*:/opt/module/hadoop-3.3.4/share/hadoop/yarn:/opt/module/hadoop-3.3.4/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.3.4/share/hadoop/yarn/*
    </value>
</property>

### 4、 MapReduce 配置



> 
> vim mapred-site.xml
> 
> 
> 

<!-- 指定 MapReduce 程序 运行在 Yarn 上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

### 5、目前 只在 102 上做了 配置，分发 hadoop 配置文件

xsync /opt/module/hadoop-3.3.5/etc/hadoop

### 6、在103 104 查看分发 完成

cd /opt/module/hadoop-3.3.5/etc/hadoop

cat core-site.xml

### 7、配置 workers



> 
> vim /opt/module/hadoop-3.3.5/etc/hadoop/workers
> 
> 
> 



> 
> 集群 有几个 节点 就写几个  
>  该文件末尾不允许有 空格  
>  该文件全文不允许有 空行
> 
> 
> 

hadoop102
hadoop103
hadoop104

### 8、分发配置

cd /opt/module/hadoop-3.3.5/etc/hadoop/

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

，真正体系化！**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取