hadoop2.0 yarn 之 资源调度器 基于hadoop2.2.0

java高级交流群:37341439 欢迎所有学习hadoop2.2.0的朋友加入讨论交流,分享实战经验!我们群无下限哦~~  
资源调度器是 hadoop yarn中最核心的组件之一,是resourcemanage中一个插拔式的服务组件,负责整个集群资源(container)的管理和分配。
      背景
          hadoop最初设计目的是支持大数据批处理作业,如日志挖掘,web索引等作业,为此,hadoop仅提供了一个非常简单的调度机制:FIFO,即先来先服务,在该调度机制下,所有作业被统一提交到一个队列中,hadoop按照提交顺序依次运行这些作业。但是随着hadoop的普及,单个hadoop集群的用户量越来越大,不同用户提交的应用程序往往具有不同的服务质量要求(QoS),典型的应用有以下几种:
  •      批处理作业:这种作业往往耗时很长,对时间完成一半没有严格要求,如数据挖掘,机器学习等方面的应用程序。
  •      交互式作业:这种作业期望能及时放回结果(sql查询,hive)等
  •      生产性作业:这种作业要求有一定量得资源保证,如统计值计算
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值