Flink SQL --Flink 整合 hive

1、整合
# 1、将依赖包上传到flink的lib目录下
flink-sql-connector-hive-3.1.2_2.12-1.15.2.jar

# 2、重启flink集群
yarn application -list
yarn application -kill application_1699579932721_0003
yarn-session.sh -d

# 3、重新进入sql命令行
sql-client.sh 
2、Hive catalog

catalog(元数据) ---> database ---> table ---> 数据 --- > 列

-- 1、开启hive的元数据服务
nohup hive --service metastore &

-- 2、创建hive catalog
CREATE CATALOG myhive WITH (
  'type' = 'hive',
  'hive-conf-dir' = '/usr/local/soft/hive-3.1.2/conf'
);

-- 查看所有的catalog
-- default_catalog: 默认的元数据,将元数据保存在内存中
show catalogs;

--3、切换catalog
use catalog myhive;

--4、在flink中就可以使用hive中已经创建好的表
select * from student;
-- 可以从catalog开始定位一张表
select * from myhive.`default`.student;


-- 将flink的表结构保存到hive catalog中
-- hive中可以看到flink创建的流表,但是在hive中不能查询flink的流表
create database flink;
use flink;
-- 创建flink动态表
CREATE TA
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值