hadoop+hive+flink+hbase交互的版本兼容性

与Hive兼容的Hadoop版本[3]	Flink支持的Hive[1]
1.x.y, 2.x.y	1.0.0 1.0.1
1.x.y, 2.x.y	1.1.0 1.1.1
1.x.y, 2.x.y	1.2.0 1.2.1 1.2.2
2.x.y	2.0.0 2.0.1
2.x.y	2.1.0 2.1.1
2.x.y	2.2.0
2.x.y	2.3.0 2.3.1 2.3.2 2.3.3 2.3.4 2.3.5 2.3.6
3.x.y	3.1.0 3.1.1 3.1.2

 

Hadoop與Hbase兼容性([5]中搜索Hadoop version support matrix)

hadoop版本	hbase
Hadoop-2.7.1+	HBase-1.4.x
Hadoop-2.8.5+	HBase-1.6.x HBase-2.2.x
Hadoop-2.9.2+	HBase-1.6.x HBase-2.2.x
Hadoop-2.10.x	HBase-1.6.x HBase-1.7.x HBase-2.3.x
Hadoop-3.1.1+	HBase-2.2.x HBase-2.3.x
Hadoop-3.2.x	HBase-2.2.x HBase-2.3.x

 

其他版本都和hadoop不兼容，不要去下載。

hadoop和hbase肯定是屬於同一個集羣的

 

Flink版本至少需要1.9或者以上[2]，否則是不可能進行各種實驗操作的

因爲從1.9開始flink官方才開始出現beta版本

根据[6][7]可知，Flink1.12对hbase当前最高支持版本是2.2.x

补充:

关于Hbase和hadoop，即使参考了官方兼容列表，也会出现兼容性的问题，

此时需要参考[8]解决(尽量采用自己在gitee上编译的hbase版本)

 

Reference:

[1]Hive

[2]Hive Integration Beta-1.9

[3]Hive-Downloads

[4]Hadoop、Hbase、Hive版本兼容性

[5]Apache HBase ™ Reference Guide

[6]HBase SQL Connector

[7]https://repo1.maven.org/maven2/org/apache/flink/

[8]The procedure WAL relies on the ability to hsync for proper operation during component failures