2024年最新hadoop完全分布式搭建（学不会干我），2024年最新2024大数据开发高级面试题汇总解答

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

vim yarn-site.xml

<!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
</property>
 <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
    <description>指定 ResourceManager 的 Web 应用连接地址</description>
  </property>

<property> 
<name>yarn.resourcemanager.address</name> 
<value>master:8032</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 指定 ResourceManager 的调度器连接地址
<value>master:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>master:8031</value> 
</property> 

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
 <property>
      
  <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>

        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>



<!-- 开启日志聚集功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  

		<name>yarn.log.server.url</name>  
		<value>http://master:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>

vim mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
 
	<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>

cd /opt/hadoop/sbin

Start-dfs.sh

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

Stop-dfs.sh

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

Start-yarn.sh:

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

Stop-yarn.sh:

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

接下来就是分发个各个集群

[root@master opt]# scp -r ./hadoop slave1:`pwd`

[root@master opt]# scp -r ./hadoop slave2:`pwd`

格式化hdfs

hdfs namenode -format

启动集群

start-all.sh

jps查看集群是否启动

master：

slave1：

slave2：

浏览器中输入master:9870  和 master:8088看看是否有web界面，有的话就搭建成功了

部分错误处理

如果只有master起来了，其他节点没起来

检查自己的works配置是否正确，以及是否实现两两免密，个节点之间有没有映射，在前面的文章中我有配置所以没有出错

web界面打不开

web界面打不开是节点与windows之间的映射没有做好，修改windows下的hosts文件，看看ip是不是写错或者没配，前面文章都有讲

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

图片转存中…(img-eLzaUyME-1715648728902)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取