2024年大数据最新hadoop完全分布式搭建（学不会干我），2024年最新程序员的中年危机

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

    <value>hdfs://master:8020</value>
</property>

<!-- 指定hadoop数据的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为root -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

###   vim hadoop-env.sh

export JAVA_HOME=/opt/java

![](https://img-blog.csdnimg.cn/direct/e77349911a324fcfb0f06939d1aabc97.png)


###  vim hdfs-site.xml

dfs.namenode.http-address

master:9870

dfs.namenode.secondary.http-address

slave1:9868

### vim workers


![](https://img-blog.csdnimg.cn/direct/8274977bf7494274b1e53c954272cfbb.png)


### vim yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>

yarn.resourcemanager.webapp.address master:8088 指定 ResourceManager 的 Web 应用连接地址 yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address 指定 ResourceManager 的调度器连接地址 master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.nodemanager.aux-services mapreduce_shuffle

yarn.nodemanager.pmem-check-enabled
false

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
<!-- 环境变量的继承 -->
<property>

    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  

	<name>yarn.log.server.url</name>  
	<value>http://master:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

### vim mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020

<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>master:19888</value>
</property>

###  cd /opt/hadoop/sbin


### Start-dfs.sh


HDFS\_NAMENODE\_USER=root


HDFS\_DATANODE\_USER=root


HDFS\_SECONDARYNAMENODE\_USER=root


### 


### Stop-dfs.sh


HDFS\_NAMENODE\_USER=root


HDFS\_DATANODE\_USER=root


HDFS\_SECONDARYNAMENODE\_USER=root



Start-yarn.sh:


YARN\_RESOURCEMANAGER\_USER=root


YARN\_NODEMANAGER\_USER=root



Stop-yarn.sh:


YARN\_RESOURCEMANAGER\_USER=root


YARN\_NODEMANAGER\_USER=root


### 




## 接下来就是分发个各个集群

[root@master opt]# scp -r ./hadoop slave1:pwd

[root@master opt]# scp -r ./hadoop slave2:pwd

### 格式化hdfs




![img](https://img-blog.csdnimg.cn/img_convert/7d7f2051ad605ee695275e56661a468b.png)
![img](https://img-blog.csdnimg.cn/img_convert/39c8dfd1e3c8f3ad817f73dd4ffdf8ab.png)
![img](https://img-blog.csdnimg.cn/img_convert/7a2bdc7d972bfed057746e3197a100e3.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

图片转存中...(img-n4t4Fjpj-1714878046944)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**