hadoop3版本的兼容性简单调研

hadoop3版本的兼容性简单调研

目录：

1. 与其他组件的兼容性版本

2. 与hadoop2版本的客户端兼容性

 

一. 与其他组件的兼容性版本

目前依赖hadoop的常用组件有spark、 hive、hbase 等. 目前只调研hive 和 hbase 这两个重要组件。

参考组件的官网发布信息，一般每个版本的发布信息会说明已经支持那个hadoop版本的底层服务，说明

已经经过官网比较系统的测试了。

1.1 hive：

摘录官网的信息：

1 November 2018: release 3.1.1 available

This release works with Hadoop 3.x.y. You can look at the complete JIRA change log for this release.

30 July 2018: release 3.1.0 available

This release works with Hadoop 3.x.y. You can look at the complete JIRA change log for this release.

21 May 2018 : release 3.0.0 available

This release works with Hadoop 3.x.y. The on-disk layout of Acid tables has changed with this release. Any Acid table partition that had Update/Delete/Merge statement executed since the last Major compaction must execute Major compaction before upgrading to 3.0. No more Update/Delete/Merge may be executed against these tables since the start of Major compaction. Not following this may lead to data corruption. Tables/partitions that only contain results of Insert statements are fully compatible and don't need to be compacted. You can look at the complete JIRA change log for this release.

 

可知，目前hive的三个罪行版本是支持hadoop3.x.y系列的，分别为：3.0.0、3.1.0、3.1.1。

 

1.2 hbase
 

参考hbase官网的支持矩阵：

可知，Hbase2.0.x 和 Hbase2.1.x支持hadoop3.0.3+、hadoop3.1.1+；

           Hbase2.1.x支持hadoop3.1.1+；

 

二. 与hadoop2版本的客户端的兼容性

目前测试可以兼容hadoop2的客户端（rpc兼容），可以继续使用， 但是一些新功能不能正常使用， 且一些shell脚本发生了很大变化。

 

持续更新。。。。。