Hadoop 版本进化论：从 1.0 到 2.0，架构革命全解析

Hadoop版本

hadoop1.x版本

由三部分组成

• Common(辅助工具)
• HDFS(数据存储)
• MapReduce(计算和资源调度)

存在的问题

• JobTracker同时具备了资源管理和作业控制两个功能，成为了系统的最大瓶颈
• 采用了master/slave结构，master存在单点问题，一旦master出现故障，会导致整个集群不可用
• 采用了基于槽位的资源分配模型，将槽位分为了Map slot和Reduce slot两种，且不允许它们之间共享，导致一种槽位资源紧张和另一种闲置的情况

hadoop2.x版本

由四部分组成

• Common(辅助工具)
• HDFS(数据存储)
• Yarn(资源调度)
• MapReduce(计算)

yarn的出现就是为了将JobTracker的功能进行拆分为两个服务：一个全局的资源管理器ResourceManager和每个程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，ApplicationMaster负责单个应用程序的管理

参考文献

• hadoop版本