本文介绍了Hadoop 2.6和2.7版本中的关键新特性，包括YARN的全局缓存、限制MapReduce任务数量、热插拔磁盘以及支持节点标签和时间基资源预留。这些特性旨在提升集群效率和管理灵活性，尤其在异构环境中提供更精细的资源调度。
Hadoop2.7
1. YARN-1492 - Automatic shared, global caching of YARN localized resources (beta)
Hadoop Distributed Cache大家应该比较熟悉。它的局限是只能在一个Job间共享file，该特性期望实现多个job间共享file。不过Hadoop2.7中，该特征为Beta版本，社区希望在Hadoop2.8中实现正式版。
2. MAPREDUCE-5583 - Ability to limit running Map/Reduce tasks of a job
该特征允许用户在提交一个MapReduce Job时，指定可同时运行的Map或Reduce的任务数目上限。看来该特性是寄期望于用户的自觉性，或者是集群规范的管理能力，以避免集群出现类似于DDoS的场景，希望这种期望不要落空......
当然，为了实现这个期望，必须要和Scheduler的资源分配等功能结合使用。
Hadoop2.6
1. HDFS-6740 - Hot swap drive: support add/remove data node volumes without
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
