在上一篇《最新跑通:使用iceberg-master分支构建支持Flink1.12的iceberg版本》中,构建了支持Flink1.12的iceberg jar包。现在来集成下iceberg。
1.Flink1.11开始就不在提供flink-shaded-hadoop-2-uber的支持,所以如果需要flink支持hadoop得配置环境变量HADOOP_CLASSPATH:
export HADOOP_CLASSPATH=`hadoop classpath`
export PATH=$PATH:$HADOOP_CLASSPATH
验证是否设置成功:
2.将flink-runtime下构建好的Iceberg的jar包复制到flink下
3.启动flink集群
bin/start-cluster.sh
4.启动flin sql client
bin/sql-client.sh embedded
5.创建Hadoop catalog等后续操作即可