hadoop中MapReduce作业的调度过程分析 -- yarn 资源调度

本文详细分析了Hadoop YARN框架中的资源调度,包括ResourceManager和NodeManager的角色,以及MapReduce作业的提交和调度流程。重点介绍了三种调度器:FIFO, Fair和Capacity,并探讨了Container的使用以及数据本地化的重要性。" 24303641,1114317,C# Winform与Access数据库交互教程,"['C#编程', '数据库操作', 'Winform应用', '数据交互']
摘要由CSDN通过智能技术生成

            Hadoop生态圈中的资源调度工具,莫过于yarn框架了,可以支持各种计算引擎的资源分配与调度实现。以下是关于yarn框架的具体说明分析。首先看看它的组成结构。,

1. 主节点ResourceManager:
        (1)YARN 集群的主节点 ResourceManager 的职责:
            1)处理客户端请求
            2)启动或监控 MRAppMaster
            3)监控 NodeManager
            4)资源的分配与调度
        (2)两个组件:
            1)应用程序管理器ApplicationsManager(ASM):
                负责管理所有的application----mr计算程序----wordcount程序             
                负责管理application的状态,分配application的运行的资源              
            2)调度器Scheduler:
                负责每一个application任务的资源调度
                负责application的调度
                FIFO(单一队列调度器):FIRST IN FIRST out
                    先提交的任务先执行  后提交的任务后执行
                FAIR(公平调度器):
                    第一个任务来了: 所有的资源全部跑
                    第二个任务来了:两个任务平均分配资源,各

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值