问题导读
1.hadoop1.x中mapreduce框架与yarn有什么共同点?
2.它们有什么不同点?
3.yarn中有哪些改变?
4.yarn中有哪些术语?
yarn是比较难懂的一个地方,也是很重要的一个组件,不止hadoop使用yarn,spark,storm也可以使用yarn。因此yarn的理解是非常重要的。如果刚开始学习,其实还是挺难懂的。因为很多的概念比较抽象。
相同点
hadoop2.x的发展是由于hadoop1.x的问题造成的。
那么是什么问题造成的。比较流行的说法是jobtracker的问题,比如单点故障,任务过重。我们知道了除了Jobtracker,同时还有一个TaskTracker。我们看下图:
上图中,有一个JobTracker,多个TaskTracker。
Yarn比较
我们在来看yarn
我们看到有一个ResourceManager,多个NodeManager。
也就是说hadoop1.x mapreduce框架与hadoop2.x yarn,他们的框架相同之处,都是分布式的。
再次总结相同处:
JobTracker一个,TaskTracker多个
resourceManager一个,NodeManager多个
不同点