hadoop1.x和hadoop2.x的主要区别在于:
1、hadoop1.x没有提供架构中主节点namenode及jobtrack的高可用及负载均机制。而在hadoop2.x中有。
2、第二个区别就体现在mapreduce的架构设计上,hadoop1.x中mapreduce兼具计算和资源调度两个作用,
而在hadoop2.x中则将mapreduce中的资源调度功能剥离形成一个独立的框架叫做yarn。使得hadoop更
加地灵活,因为剥离后的yarn不仅可以运行在hadoop平台,也可以运行在其他的平台,如spark。
MapReduce1.x架构设计
MapReduce1.x架构设计:
1、在hadoop1.x,MapReduce不仅做作业的计算,还做资源的调度。
2、它是一个主从架构,由一个主节点Jobtrack和多个从节点Tasktrack组成。
3、真正执行任务的是tasktrack中运行着的maptask和reducetask。
具体hadoop1.x的mapreduce任务执行流程就不说了,没有面试官会问这