YARN版本信息对比2.6.0-3.0.0

YARN版本信息对比2.6.0-3.0.0

目前大数据集群的Hadoop主要版本为2.6.0,版本日期为2014.11.18。为了适应大数据的不断发展和更新换代,特此分享Hadoop主要版本信息,为版本升级做准备。

Hadoop主要包括五个部分:Hadoop Common、Hadoop Distributed File System (HDFS)、Hadoop YARN、Hadoop MapReduce、Hadoop Ozone。之前的文章已经提到过hadoop的版本对比,接下来会对各个模块分别进行总结。
Hadoop Common:支持其他Hadoop模块的通用程序。
Hadoop Distributed File System (HDFS™):提供访问应用数据高吞吐量的分布式文件系统。
Hadoop YARN:作业调度和集群资源管理的框架。
Hadoop MapReduce:基于YARN并行处理大数据集的系统
Hadoop Ozone:Hadoopd对象存储。不涉及当前讨论hadoop版本,且目前只有alpha版本,暂不列入考虑。

今天来讲YARN。

版本更新

原始版本:2.6.0
版本日期:2014.11.18
第三方版本信息:HDP2.2.6

目标版本:3.0.0
版本日期:2017.12.13
第三方版本信息:CDH6.0.1

2.7.0重大加强

该版本不再支持JDK6,并仅支持JDK7及以上版本。此release还未准备作为产品使用。关键问题通过测试和下游适用来解决。生产用户应等待下一版本。
Release note: http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/releasenotes.html

YARN-3100 - Make YARN authorization pluggable
目标是使yarn acl模式可扩展,以集成其他授权工具例如Apache Ranger,Sentry。目前有admin ACL、queue ACL、application ACL、time line domain ACL、service ACL。这个建议是创建一个YarnAuthorizationProvider接口。当前实现将默认实现。Ranger或Sentry插件可以实现这个接口。好处是:统一基础代码。使用默认实现,我们可以摆脱每个特定的ACL管理器,例如AdminAclManager、ApplicationACLsManager、QueueAclsManager等等。启用Ranger, Sentry来进行YARN授权。
https://issues.apache.org/jira/browse/YARN-3100

YARN-1492 - Automatic shared, global caching of YARN localized resources (beta)
YARN共享缓存提供了一种安全、可扩展的方式上传和管理HDFS共享应用资源。YARN应用可以利用其他应用上传的资源或之前运行的相同应用的资源,而不必重新多次上传和本地化相同文件。这将节省网络资源和减少YARN应用启动时间。
https://issues.apache.org/jira/browse/YARN-1492

3.0.0重大加强

Release note: http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/release/3.0.0/RELEASENOTES.3.0.0.html
http://hadoop.apache.org/docs/r3.0.0/index.html

1.JAVA版本要求

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值