Apache Hadoop 2.4.0已经发布

最新推荐文章于 2024-09-14 09:06:38 发布

置顶 u010089298

最新推荐文章于 2024-09-14 09:06:38 发布

阅读量387

点赞数

文章标签： hadoop apache 集群异构 cloudyhadoop

本文链接：https://blog.csdn.net/u010089298/article/details/39625405

版权

这个月的4月7号，Apache Hadoop 2.4.0已经发布了，Hadoop2.4.0是2014年第二个Hadoop发布版本（在2月20日发布了Apache Hadoop 2.3.0），他在HDFS上做了一些加强，比如对异构存储层次的支持和通过数据节点为存储在HDFS中的数据提供了内存缓存功能。在Hadoop2.4.0主要做了以下工作：

云凡教育大数据学院www.cloudyhadoop.com
（1）、HDFS支持访问控制列表（ACLs,Access Control Lists）；
　　（2）、原生支持HDFS滚动升级；
　　（3）、HDFS FSImage用到了 protocol-buffers，从而可以平滑地升级；
　　（4）、HDFS完全支持HTTPS；
　　（5）、YARN ResourceManager支持自动故障转移，解决了YARN ResourceManager的单点故障；
　　（6）、对YARN的Application History Server和 pplication Timeline Server上的新应用加强了支持；
　　（7）、通过抢占使得YARN Capacity Scheduler支持强SLAs协议；
翻译的可能不太好，大家可以参见英文原文：
　　（1）、upport for Access Control Lists in HDFS
　　（2）、Native support for Rolling Upgrades in HDFS
　　（3）、Usage of protocol-buffers for HDFS FSImage for smooth operational upgrades

云凡教育大数据学院www.cloudyhadoop.com
　　（4）、Complete HTTPS support in HDFS
　　（5）、Support for Automatic Failover of the YARN ResourceManager
　　（6）、Enhanced support for new applications on YARN with Application History Server and Application Timeline Server
　　（7）、Support for strong SLAs in YARN CapacityScheduler via Preemption.
　　目前，安全对于Hadoop来说至关重要，所以在Hadoop 2.4.0版本中对HDFS的所有访问（包括WebHDFS, HsFTP甚至是web-interfaces）都支持了HTTPS。
　　在Hadoop 2.4.0解决了ResourceManager的单点故障。这样会在集群中存在两个ResourceManager，其中一个处于Active；另一个处于　　standby。当Active的出现故障，这样Hadoop可以自动平滑地切换到另外一个ResourceManager，这个新的ResourceManager将会自动的重启那些提交的applications。在下一阶段，Hadoop将会增加一个热standby（add a hot standby），这个standby可以继续从故障点运行的应用程序，以保存任何已经完成的工作。

展望一下Hadoop2.5.0

云凡教育大数据学院www.cloudyhadoop.com

　　（1）、First-class support forrolling upgrades in YARN, with:
　　　　Work-preserving ResourceManagerrestart (YARN-556)
　　　　Container-preservingNodeManager restart (YARN-1336)
　　（2）、Support for admin-specifiedlabels for servers in YARN for enhanced control and scheduling (YARN-796)
　　（3）、Support for applications todelegate resources to others in YARN. This will allow external services toshare not just YARN’s resource-management capabilities but also it’sworkload-management capabilities. (YARN-1488)
　　（4）、Support for automaticallysharing application artifacts in the YARN distributed cache. (YARN-1492)