YARN任务提交流程

最新推荐文章于 2024-05-13 18:11:56 发布

Kuzury

最新推荐文章于 2024-05-13 18:11:56 发布

阅读量6.8k

点赞数 2

分类专栏：大数据 YARN 文章标签： yarn 任务提交

本文链接：https://blog.csdn.net/u010039929/article/details/74171927

版权

YARN是Hadoop的资源管理系统，将JobTracker的功能拆分为Resource Manager和Application Master，提高了可扩展性和支持多种计算框架。在YARN中，资源分配单位为container，Client提交任务时经历申请Application ID、提交Application Submission Context、AM启动等步骤，AM与RM通过心跳通信请求和释放资源。

摘要由CSDN通过智能技术生成

Yarn是随着hadoop发展而催生的新框架，全称是Yet Another Resource Negotiator，可以翻译为“另一个资源管理器”。yarn取代了以前hadoop中jobtracker（后面简写JT）的角色，因为以前JT的任务过重，负责任务的调度、跟踪、失败重启等过程，而且只能运行mapreduce作业，不支持其他编程模式，这也限制了JT使用范围，而yarn应运而生，解决了这两个问题。

1. Yarn(或称MRv2)

Yarn把jobtracker的任务分解开来，分为：

ResourceManager（简写RM）负责管理分配全局资源
ApplicationMaster（简写AM），AM与每个具体任务对应，负责管理任务的整个生命周期内的所有事宜

除了上面两个以外，tasktracker被NodeManager（简写NM）替代，RM与NM构成了集群的计算平台。这种设计允许NM上长期运行一些辅助服务，这些辅助服务一般都是应用相关的，通过配置项指定，在NM启动时加载。例如在yarn上运行mapreduce程序时，shuffle就是一个由NM加载起来的辅助服务。需要注意的是，在hadoop 0.23之前的版本，shuffle是tasktracker的一部分。

与每个应用相关的AM是一个框架类库，它与RM沟通协商如何分配资源，与NM协同执行并且监测应用的执行情况。在yarn的设计中，mapreduce只是一种编程模式，yarn还允许像MPI(message passing interface)，Spark等应用构架部署在yarn上运