在 Flink 中使用 iceberg

最新推荐文章于 2025-04-10 00:43:56 发布

原创

最新推荐文章于 2025-04-10 00:43:56 发布 · 4.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #flink

本文介绍了如何在Apache Flink中使用Apache Iceberg，包括准备步骤、DDL命令、SQL查询、DataStream读写数据等。目前仅支持Flink 1.11.x，文章还提到了未来改进的方向，如流式读取和更多表操作的支持。

Apache Iceberg 支持Apache Flink的DataStream API 和 Table API 将记录写入 iceberg 的表，当前，我们只提供 iceberg 与 apache flink 1.11.x 的集成支持。

Feature support	Flink 1.11.0	Notes
SQL create catalog	✔️
SQL create database	✔️
SQL create table	✔️
SQL alter table	✔️	Only support altering table properties, Columns/PartitionKey changes are not supported now
SQL drop_table	✔️
SQL select	✔️	Only support batch mode now.
SQL insert into	✔️ ️	Support both streaming and batch mode
SQL insert overwrite	✔️ ️
DataStream read	✔️ ️
DataStream append	✔️ ️
DataStream overwrite	✔️ ️
Metadata tables	️

准备

为了在 Flink 中创建 iceberg 表，我们推荐使用Flink SQL Client以便用户更容易理解概念。

第一步，在 apache flinkdownload page页面下载 flink 1.11.x binary 包，我们当前使用 scala 2.12 来实现 apache iceberg-flink-runtime jar，因此推荐使用绑定 scala 2.12 的 flink 1.11。

wget https://downloads.apache.org/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.12.tgz tar xzvf flink-1.11.1-bin-scala_2.12.tgz

第二步，启动一个基于 Hadoop 环境的 standalone 模式的 flink 集群。

# HADOOP_HOME is your hadoop root directory after unpack the binary package. export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`
# Start the flink standalone cluster
./bin/start-cluster.sh

第三步，启动 flink SQL client。

我们已经在 iceberg 项目中创建独立的 flink-runtime 模块来生成一个捆绑的 jar, 可以直接被 flink SQL client加载。

如果我们要手动构建 flink-runtime 的 jar，那么只需要构建一个 iceberg 工程，它就会在 /flink-runtime/build/libs 下生成 jar。当然，我们也可以从 apache 官方仓库下载 flink-runtime jar。