hadoop1.0和hadoop2.0的对比

Hadoop1.0包含两个核心组件,分别是HDFS和MapReduce。

Hadoop2.0在Hadoop1.0基础之上增加了独立的集群资源管理组件Yarn。Yarn不仅可以为MapReduce提供资源管理服务,也可以为MPI、Storm、Spark和Flink等计算框架提供资源管理服务。

对比项目MapReduceYarn
角色

JobTracker

TaskTracker

(执行程序时添加MapTask和ReduceTask)

ResourceManager NodeManager 

(执行程序时,会首先启动ApplicationMaster)

分工

1.JobTracker 资源分配、任务调度

2.TaskTracker 节点资源管理、任务进度

1.ResourceManager 资源分配

2.NodeManager 节点资源管理

3.ApplicationMaster 任务调度、进度汇报

资源分配

Slot作业槽

1.分MapSlot和Reduce Slot分别对应Map任务和Reduce任务,无法通用

2.Slot资源大小固定,一经配置,无法改变,每个MapSlot资源大小相等

3.Slot的进程名为ChildJVM

Container容器

1.容器不分类型,Map和Reduce任务通用,AppMaster也在容器中运行

2.Container容器大小可变,可动态申请不同大小的容器

3.Container进程名为YarnJVM

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值