看了网上flink连接hive,就尝试在自己电脑虚拟机上玩一下。
版本
Flink1.12.0
Hive1.2.2
1、将hive的jar包复制到flink的lib目录下
hive-exec-1.2.2.jar
hive-metastore-1.2.2.jar
libfb303-0.9.2.jar
2、下载flink-sql-connector-hive-1.2.2(重要)
flink-sql-connector-hive-1.2.2
3、配置HADOOP_CLASSPATH,需要在/etc/profile文件中配置如下的环境变量
export HADOOP_CLASSPATH=`hadoop classpath`
4、配置sql-client-defaults.yaml,修改catalogs
catalogs:
- name: myhive
type: hive
hive-conf-dir: /root/opt/hive-1.2.2/conf
5、调整hive的配置文件
天真的我以为搞定上面三步就ok了,然而还是太年轻了,启动sql-client.sh embedded
报错了,报错信息如下:
Caused by: java.lang.IllegalArgumentException: Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris
我心想这个简单,在hive-site.xml下配置
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.70.200:9083</value>
</property>
然并卵,hive直接无法启动和初始化,wtf?,然后我就找呀找呀。。。。
没找到解决的方法,我就去看hive 的metastore的配置方式,一般我们配置是本地Mysql(这是服务端),而flink连接hive是通过客户端方式连接,服务端如果配置了客户端的话,hive启动就会报错,那怎么办呢?
在hive的conf中添加多一个配置文件:
一个是hive-site.xml(一定要有metasotre的配置,否则就会报错)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.70.200:9083</value>
</property>
</configuration>
一个是hive-site-server.xml,就是我们连接MySQL的文件。
6、启动sql-client.sh embedded
show catalogs;
use catalog myhive;
//现在就可以用hive的语法进行查询了
show databases;