Hadoop系列（四）之YARN的使用

最新推荐文章于 2023-12-29 11:55:55 发布

九八年的尾巴

最新推荐文章于 2023-12-29 11:55:55 发布

阅读量421

点赞数

分类专栏： Hadoop 文章标签：大数据 hadoop java

本文链接：https://blog.csdn.net/q736317048/article/details/107319602

版权

本文介绍了YARN（Yet Another Resource Negotiator），它是Hadoop的资源管理系统，用于集群资源的统一管理和调度。YARN包括ResourceManager（RM）、NodeManager（NM）和ApplicationMaster（AM）。文章详细讲解了为何使用YARN以解决集群资源浪费的问题，并阐述了YARN的工作流程。配置YARN涉及mapred-site.xml和yarn-site.xml的设置，确保HDFS服务正常并启动相关服务。在使用YARN时，可以从Hadoop目录下的mapreduce组件运行官方提供的测试jar包进行实践。最后，文章提到了YARN使用中可能出现的不健康节点和shuffle阶段内存不足的问题及其解决方案。

摘要由CSDN通过智能技术生成

1 什么是YARN

Yet Another Resource Negotiator

通用的资源管理系统

提交任务到YARN进行统一的资源管理及调度

当集群特别庞大时，我们可能有很多节点，可能有上万台服务器。可以监控所有节点去处理，可以调配去处理

master: resource management：ResourceManager (RM)
job scheduling/monitoring：per-application ApplicationMaster (AM)
slave: NodeManager (NM)

RM：管理资源

NM：执行运算的主体

AM：运行的程序
在这里插入图片描述

2 为什么用YARN

集群资源的浪费，为整理所有集群资源，所以开始使用

3 YARN工作流程

4 YARN配置

参照官网设置，设置单节点YARN操作，首先配置mapred-site.xml，增加如下配置，指定MapReduce的运行环境是YARN

1.进入etc/hadoop
然后修改mapred-site.xml.template文件名
2.mv mapred-site.xml.template mapred-site.xml

3.然后进入mapred-site.xml修改

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <va