Flink1.12-Flink Client集成Hive快速入门

Hive已经成为数据仓库生态系统中的核心。它不仅仅是一个用于大数据分析和ETL场景的SQL引擎，同样也是一个数据管理平台，一些被大家广泛使用大数据处理引擎都声称对Hive有着很好的兼容性。而Flink从1.9开始支持Hive，只不过是beta版，不推荐在生产环境中使用。在Flink1.10版本中，标志着对Blink的整合宣告完成，对Hive的集成也达到了生产级别的要求。本文以目前最新的Flink1.12.1为例，阐述Flink集成Hive的简单过程。

HiveCatalog

多年来，Hive Metastore在Hadoop生态系统中已发展成为元数据中心。许多公司在其生产中只有一个Hive Metastore服务实例，用来管理其所有元数据，因此Flink也顺理成章的将元数据保存在Metastore中，这样做的好处是我们使用Flink SQL创建的表，用户必须在每个会话中重复创建像Kafka表这样的元对象，浪费大量时间。HiveCatalog可以让用户仅一次创建表和其他元对象，并在以后的跨会话中方便地引用和管理它们。

设置HiveCatalog

支持的Hive版本

大版本	V1	V2	V3	V4	V5	V6	V7
1.0	1.0.0	1.0.1
1.1	1.1.0	1.1.1
1.2	1.2.0	1.2.1	1.2.2
2.0	2.0.0	2.0.1
2.1	2.1.0	2.1.1
2.2	2.2.0
2.3	2.3.0	2.3.1	2.3.2	2.3.3	2.3.4	2.3.5	2.3.6
3.1	3.1.0	3.1.1	3.1.2

不同的Hive版本功能上会有差异，因此当你发现某些功能无法使用时，这可能就是Hive版本不一致造成
本文列出部分差异：

• Hive内置函数在Hive-1.2.0及更高版本时支持
• 列约束PRIMARY KEY和NOT NULL，在使用Hive-3.1.0及更高版本时支持
• 更改表的统计信息，在Hive-1.2.0及更高版本支持
• DATE列统计信息，在Hive-1.2.0及更高版本支持
• 使用Hive-2.0.x版本时不支持写入ORC表

依赖包

本文以Flink1.12为例，集成的Hive版本为1.2.1。由于Flink事先也不知道用户会集成什么版本的Hive，因此在与Hive集成时，我们需要手动添加一些依赖包到环境当中。
首先是添加对应版本的连接器，Flink在官网提供了各个Hive版本的连接器

点我跳转
本文选择的是第一个。如果您使用的Hive版本没有列出，那么需要分别添加每个所需的jar包。
然后添加hadoop类路径，在/etc/profile中添加以下内容

export HADOOP_CLASSPATH=`hadoop classpath`
export PATH=$PATH:$HADOOP_CLASSPATH

最后还需要两个jar包flink-connector-hive_2.11-1.12.1.jar和hive-exec-1.2.2.jar，其中hive-exec-1.2.2.jar包存在于Hive安装路径的lib文件夹。flink-connector-hive_2.11-1.12.1.jar的下载地址为https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.12.0/

配置sql-client-defaults.yaml

Flink SQL Cli启动时会读取sql-client-defaults.yaml配置文件，该文件存在于$FLINK_HOME/conf下，具体配置详情如下：

参数	必选	默认值	类型	描述
type	是	(无)	String	Catalog 的类型。 创建 HiveCatalog 时，该参数必须设置为’hive’。
name	是	(无)	String	Catalog 的名字。仅在使用 YAML file 时需要指定。
hive-conf-dir	否	(无)	String	指向包含 hive-site.xml 目录的 URI。 该 URI 必须是 Hadoop 文件系统所支持的类型。 如果指定一个相对 URI，即不包含 scheme，则默认为本地文件系统。如果该参数没有指定，我们会在 class path 下查找hive-site.xml。
default-database	否	default	String	当一个catalog被设为当前catalog时，所使用的默认当前database。
hive-version	否	(无)	String	HiveCatalog 能够自动检测使用的 Hive 版本。我们建议不要手动设置 Hive 版本，除非自动检测机制失败。
hadoop-conf-dir	否	(无)	String	Hadoop 配置文件目录的路径。目前仅支持本地文件系统路径。我们推荐使用 HADOOP_CONF_DIR 环境变量来指定 Hadoop 配置。因此仅在环境变量不满足您的需求时再考虑使用该参数，例如当您希望为每个 HiveCatalog 单独设置 Hadoop 配置时。

启动相关组件

• 由于要用到Hive的元数据管理，因此确保Hive Metastore正在运行

启动metastore:
bin/hive --service metastore

后台启动:
bin/hive --service metastore 2>&1 >> /var/log.log &

后台启动,关闭shell连接依然存在:
nohup bin/hive --service metastore 2>&1 >> /var/log.log &

• 启动Flink的standalone集群(Flink SQLClient执行时需要)

$FLINK_HOME/bin/start-cluster.sh

操作Hive表

下面我们就可以像Hive Cli一样操作Hive表啦。首先启动FlinkSQL Cli

./bin/sql-client.sh embedded

看到一只大松鼠说明启动成功

查看注册的catalog

Flink SQL> show catalogs;
default_catalog
myhive

选择catalog

Flink SQL> use catalog myhive;

查看表

Flink SQL> show tables;
kafkatable
kylin_account
kylin_cal_dt
kylin_category_groupings
kylin_country
kylin_sales
tb_test_sqlclient
test
testkafka

使用Flink SQL查询Hive表

Flink SQL> select * from tb_test_sqlclient;

插入一条数据，从Hive客户端查看是否存在

Flink SQL> insert into tb_test_sqlclient select 2,'kris';

可见从Flink SQLClient插入一条数据，在Hive客户端同样可以查询到。
此时打开Flink Standalone WebUI我们可以看到刚刚SQL执行的任务

OK，Flink SQL Client集成Hive是不是特别简单，这只是SQL Client一个很小的功能而已喔，我们还可以使用它执行流处理任务并实时查看输出的结果等等，下一篇将带大家看看如何使用Flink SQL Client消费Kafka数据提交流式任务。

微信公众号：喜讯Xicent