Hadoop-MapReduce

MapReduce定义

MapTask & ReduceTask
输入(格式k, v)数据集 => map映射成一个中间数据集(k, v) => reduce
相同的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算

MapReduce理解

Map:读懂数据;映射为KV模型;并行分布式;计算向数据移动

Reduce:数据全量/分量加工;Reduce中可以包含不同的key;相同的Key汇聚到一个Reduce中;相同的Key调用一次reduce方法

 

MapReduce1.X

角色:
1)JobTracker:核心、主、单点;调度所有作业;监控整个集群的资源负载
2)TaskTracker:从节点、自身节点资源管理;和JobTracker心跳,汇报资源,获取Task
3)Client:作业为单位;规划作业计算分布;提交作业资源到HDFS;最终提交作业到JobTracker

弊端:
1)JobTracer负载过重,单点故障
2)资源管理与计算调度强耦合,其它计算框架需要重复实现资源管理
3)不同框架对资源不能全局管理

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值