CDH集群下，Flink+hive+iceberg+zeppelin实践—01

最新推荐文章于 2024-08-08 19:58:24 发布

黄瓜炖啤酒鸭

最新推荐文章于 2024-08-08 19:58:24 发布

阅读量2.1k

点赞数 1

分类专栏： Flink实时数仓其他乱七八糟文章标签： iceberg zeppelin 数据湖数据湖 flink

本文链接：https://blog.csdn.net/qq_31866793/article/details/116016335

版权

本文记录了在CDH集群环境下，使用Flink 1.11.2与Hive 2.1进行数据交互，并在Zeppelin中操作读写Iceberg表的过程。详细步骤包括配置Flink连接Hive的参数，创建Iceberg catalog，创建数据库和表，插入数据并查询，以及查看HDFS上的数据存储情况。同时，文章还涉及了在Zeppelin中执行代码的操作。

摘要由CSDN通过智能技术生成

实操记录

版本：

Flink 1.11.2

iceberg 最新版本

zeppelin

hive 是基于cdh 6.3.2版本下的hive 2.1

注意，iceberg只支持2.x以上，官网说的。

一，保证Flink on zeppelin 查询hive没问题

1）Zeppelin flink 参数配置：

Flink sql 读写hive

1）Jar包放入Flink lib下：

flink-connector-hive_2.11-1.11.2.jar

hive-exec-2.1.0.jar

2）可能需要导入hadoop包
flink-hadoop-compatibility_2.11-1.11.2.jar

flink-shaded-hadoop-2-uber-2.6.0-cdh5.16.2-9.0.jar（这要自己编译）
flink-shaded-hadoop-2-uber-2.7.5-9.0.jar（实际测试使用这个）

3) 配置环境变量

实际配置为：

export HADOOP_CLASSPATH=`hadoop classpath`

export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.hdfs

export HADOOP_HOME=/wyyt/software/cloudera/parcels/CDH/lib/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HIVE_CONF_DIR=/etc/hive/conf

export HIVE_HOME=/wyyt/software/cloudera/parcels/CDH/lib/hive

export PATH=$HIVE_HOME/b