Flink1.13.5 SQL与Hive集成开发

1 添加依赖包

Flink SQL与Hive集成需要添加相关依赖包如下所示：

#Flink与hadoop兼容包

flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

#Flink与hive集成包

flink-sql-connector-hive-2.3.6_2.11-1.13.6.jar

#其他依赖包（在hadoop安装目录的shere/hadoop/common目录下）

commons-configuration-1.6.jar

commons-logging-1.1.3.jar

hadoop-auth-2.9.2.jar

hadoop-common-2.9.2.jar

hadoop-mapreduce-client-common-2.9.2.jar

hadoop-mapreduce-client-core-2.9.2.jar

hadoop-mapreduce-client-hs-2.9.2.jar

hadoop-mapreduce-client-jobclient-2.9.2.jar

htrace-core4-4.1.0-incubating.jar

javax.servlet-api-3.1.0.jar

woodstox-core-5.0.3.jar

stax2-api-3.1.4.jar

commons-codec-1.4.jar

2 修改flink配置文件

在Flink安装目录的conf目录下，修改flink-conf.yaml配置文件，添加如下内容：

classloader.check-leaked-classloader: false

3 准备SQL Client初始化脚本

准备初始化脚本init.sql，并将init.sql文件放入Flink的conf目录下。

CREATE CATALOG MyCatalog

  WITH (

    'type' = 'hive',

    'default-database'='default',

    'hive-conf-dir'='/home/hadoop/app/hive/conf',

    'hive-version'='2.3.6'

  );

USE CATALOG MyCatalog;

SET 'execution.runtime-mode' = 'batch';

SET 'sql-client.execution.result-mode' = 'table';

SET 'table.sql-dialect'='hive';

初始化脚本中我们创建了hive catalog，相关配置项如下：

4 启动metastore服务

由于Flink SQL是通过metastore服务来访问Hive的MySQL数据库管理元数据，所以首先需要启动Hive的metastore服务：

bin/hive --service metastore

5 启动Flink集群服务

通过一键启动脚本启动Flink集群服务：

bin/start-cluster.sh

6 启动Flink SQL Cli

启动SQL Client时通过-i选项指定初始化脚本即可：

bin/sql-client.sh -i conf/sql-init.sql

注意：Flink1.13开始移除了sql-client-defaults.yml配置⽂件，所以在该配置⽂件配置catalog的⽅法就不存在了，目前相关配置添加到sql-init.sql文件即可。

7 Flink SQL与Hive集成操作

7.1 catalog操作

#查看catalog

Flink SQL>show catalogs;

#使用catalog

Flink SQL>use catalog MyCatalog;

7.2 database操作

#查看database

Flink SQL>show databases;

#使用database

Flink SQL>use test;

7.3 table操作

#查看table

Flink SQL>show tables;

#查询table

Flink SQL>select * from MyCatalog.test.stu;

备注：MyCatalog为catalog，test为Hive中的数据库，stu为test中的表。

7.4 案例

1.创建hive dialect方言的表

Flink目前支持两种SQL方言(SQL dialects),分别为：default和hive。默认的SQL方言是default，如果要使用Hive的语法，需要将SQL方言切换到hive。

Flink SQL>set table.sql-dialect=hive;

Flink SQL>CREATE TABLE hive_dialect_clicklog(`user` STRING,`url` STRING,`cTime` STRING);

2.插入测试数据

Flink SQL>insert into hive_dialect_clicklog select 'Mary','./prod?id=7','2022-02-02 12:01:45';

3.查询表数据

在Hive客户端可以查询Flink SQL中创建的表及插入的数据。

#进入test数据库

hive>use test;

hive>select * from hive_dialect_clicklog;

备注：hive_dialect_clicklog为Flink SQL创建的表，该表的元数据信息存储在MySQL数据库，所以即使Flink SQL重启后，一样可以在Hive中查询hive_dialect_clicklog表中的数据。