通过编写一个YARN Application 来了解Hadoop YARN

本文介绍了如何通过编写YARN Application来理解Hadoop YARN的工作原理。内容涵盖YARN的资源调度器类型,以及创建YARN应用程序涉及的Client、Application Master和Container Application的编写过程。通过一个简单的代码例子,展示了YARN Client如何提交应用,以及App Master如何与Resource Manager和Node Manager交互,最后解释了Container Application如何在YARN上执行。
摘要由CSDN通过智能技术生成
YARN是Hadoop中的一个cluster资源管理系统。 MapReduce 就是泡在YARN 之上的,其关系如下图, MapReduce 通过YARN 在cluster内申请内存和cpu资源,YARN执行MapReduce Task.  

最近学习了YARN,
从部署的角度YARN支持三种调度器:FIFO, Capacity 和 Fair。
从开发应用程序的角度,实现一个YAN应用程序,需要编写三个程序1. Client  2. Application Master 3. Container Application, 也就是下图中椭圆形的三种程序, 对于MapReduce 其提供了Application Master 和  Client 一些丰富的Library 并且提供了 Container Application 的基础框架,所以我们基本上只需要做配置和编写Container Application 就可以。
这里将以一个简单的代码例子(不考虑错误)来看YARN提供的功能


YARN  Client编写

    1. 创建一个Application
        YarnClientApplication app = yarnClient.createApplication();

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值