hadoop3版本的兼容性简单调研

hadoop3版本的兼容性简单调研

目录：

1.与其他组件的兼容性版本

2.与hadoop2版本的客户端兼容性

一.与其他组件的兼容性版本

目前依赖hadoop的常用组件有spark、hive、hbase等.目前只调研hive和hbase这两个重要组件。

参考组件的官网发布信息，一般每个版本的发布信息会说明已经支持那个hadoop版本的底层服务，说明

已经经过官网比较系统的测试了。

1.1hive：

摘录官网的信息：

1 November 2018: release 3.1.1 available

This release works with Hadoop 3.x.y. You can look at the completeJIRA change log for this release.

30 July 2018: release 3.1.0 available

This release works with Hadoop 3.x.y. You can look at the completeJIRA change log for this release.

21 May 2018 : release 3.0.0 available

This release works with Hadoop 3.x.y. The on-disk layout of Acid tables has changed with this release. Any Acid table partition that had Update/Delete/Merge statement executed since the last Major compaction must execute Major compaction before upgrading to 3.0. No more Update/Delete/Merge may be executed against these tables since the start of Major compaction. Not following this may lead to data corruption. Tables/partitions that only contain results of Insert statements are fully compatible and don’t need to be compacted. You can look at the completeJIRA change log for this release.

可知，目前hive的三个罪行版本是支持hadoop3.x.y系列的，分别为：3.0.0、3.1.0、3.1.1。

1.2hbase

参考hbase官网的支持矩阵：

可知，Hbase2.0.x和Hbase2.1.x支持hadoop3.0.3+、hadoop3.1.1+；

Hbase2.1.x支持hadoop3.1.1+；

二.与hadoop2版本的客户端的兼容性

目前测试可以兼容hadoop2的客户端（rpc兼容），可以继续使用，但是一些新功能不能正常使用，且一些shell脚本发生了很大变化。

持续更新。。。。。