Hadoop2.x与Hadoop3.x对比

参考：https://blog.csdn.net/c36qUCnS2zuqF6/article/details/82111579

	Hadoop 2.x	Hadoop 3.x
开源	是	是
最低支持Java版本	java 7	java 8
容错	通过复制来处理容错	通过Erasure编码处理容错
数据平衡	使用HDFS平衡器	使用Intra-data节点平衡器
存储Scheme	使用3X副本Scheme	支持HDFS中的擦除编码
存储开销	HDFS在存储空间中有200％的开销	存储开销仅为50％
存储开销示例（6个块）	由于副本方案（Scheme），将有18个块占用空间	空间9个块，其中6块空间，3块用于奇偶校验
YARN时间线服务	使用具有可伸缩性问题的旧时间轴服务	改进时间线服务v2并提高时间线服务的可扩展性和可靠性
默认端口范围	一些默认端口是Linux临时端口范围。所以在启动时，他们将无法绑定	这些端口已经移出了短暂的范围
工具	Hive，pig，Tez，Hama，Giraph其他Hadoop工具	Hive，pig，Tez，Hama，Giraph其他Hadoop工具
兼容的文件系统	HDFS、FTP文件系统、 Amazon S3、Windows Azure存储Blob	支持前面以及Microsoft Azure Data Lake文件系统
Datanode资源	不专用于MapReduce，我们可以将它用于其他应用程序	此处数据节点资源也可用于其他应用程序
API兼容性	与Hadoop 1.x程序兼容的MR API，可在Hadoop 2.X上执行	MR API与运行Hadoop 1.x程序兼容，以便在Hadoop 3.X上执行
Microsoft Windows	可以部署在Windows上	可以部署在Windows上
插槽/容器	支持	支持
单点故障	具有SPOF的功能，因此只要Namenode失败，它就会自动恢复	具有SPOF的功能，因此只要Namenode失败，它就会自动恢复
HDFS联盟	多个NameNode用于多个Namespace	多个NameNode用于多个Namespace
扩展性	每个群集10,000个节点	每个群集扩展超过10,000个节点
访问数据	通过Datanode缓存，可以快速访问数据	通过Datanode缓存，可以快速访问数据
HDFS快照	支持	支持
平台	可以运行事件处理，流媒体和实时操作	可以运行事件处理，流媒体和实时操作