Flink重写Iceberg数据湖小文件变大文件

最新推荐文章于 2024-06-27 17:02:16 发布
最新推荐文章于 2024-06-27 17:02:16 发布
阅读量1k 收藏 2
点赞数
分类专栏： # Iceberg 文章标签： iceberg flink compaction 小文件 大文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yy8623977/article/details/123811679
版权

1. 重写小文件变大文件

Flink支持Batch任务，将iceberg表的小文件重写成大文件

合并前HDFS的metadata和data目录文件如下：

[root@flink1 ~]# 
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata
Found 17 items
-rw-r--r--   1 root supergroup       6493 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m0.avro
-rw-r--r--   1 root supergroup       6493 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m1.avro
-rw-r--r--   1 root supergroup       6423 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m2.avro
-rw-r--r--   1 root supergroup       6478 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/5c33451b-48ab-4ce5-be7a-2c2d2dc9e11d-m0.avro
-rw-r--r--   1 root supergroup       6421 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/b243b39e-7122-4571-b6fa-c902241e36a8-m0.avro
-rw-r--r--   1 root supergroup       6423 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/b243b39e-7122-4571-b6fa-c902241e36a8-m1.avro
-rw-r--r--   1 root supergroup       6476 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/bc0e56ec-9f78-4956-8412-4d8ca70ccc19-m0.avro
-rw-r--r--   1 root supergroup       3895 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-138573494821828246-1-b243b39e-7122-4571-b6fa-c902241e36a8.avro
-rw-r--r--   1 root supergroup       3864 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-453371561664052237-1-bc0e56ec-9f78-4956-8412-4d8ca70ccc19.avro
-rw-r--r--   1 root supergroup       3835 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-6410282459040239217-1-2b20c57e-5428-4483-9f7b-928b980dd50d.avro
-rw-r--r--   1 root supergroup       3792 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-8012517928892530314-1-5c33451b-48ab-4ce5-be7a-2c2d2dc9e11d.avro
-rw-r--r--   1 root supergroup       2115 2022-02-13 22:01 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v1.metadata.json
-rw-r--r--   1 root supergroup       3141 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v2.metadata.json
-rw-r--r--   1 root supergroup       4197 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v3.metadata.json
-rw-r--r--   1 root supergroup       5399 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v4.metadata.json
-rw-r--r--   1 root supergroup       6597 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v5.metadata.json
-rw-r--r--   1 root supergroup          1 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/version-hint.text
[root@flink1 ~]#
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china
Found 2 items
-rw-r--r--   1 root supergroup       1258 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china/00000-0-4ef3835f-b18b-4c48-b47a-85af1771a10a-00001.parquet
-rw-r--r--   1 root supergroup       1257 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china/00000-0-6e66c02b-cb09-4fd0-b669-15aa7f5194e4-00001.parquet
[root@flink1 ~]#
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan
Found 4 items
-rw-r--r--   1 root supergroup       1244 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-1d0ff907-60a7-4062-93a3-9b443626e383-00001.parquet
-rw-r--r--   1 root supergroup       1229 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-4ef3835f-b18b-4c48-b47a-85af1771a10a-00002.parquet
-rw-r--r--   1 root supergroup       1230 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-6e66c02b-cb09-4fd0-b669-15aa7f5194e4-00002.parquet
-rw-r--r--   1 root supergroup       1251 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-ba8b2366-9189-48af-ae6d-8f20b297e0b4-00001.parquet
[root@flink1 ~]#

pom.xml添加依赖

        <dependency>
            <groupId>org.apache.iceberg</groupId>
            <artifactId>iceberg-flink-runtime-1.14</artifactId>
            <version>0.13.0</version>
            <scope>provided</scope>
        </dependency>

合并的程序如下

import org.apache.iceberg.Table
import org.apache.iceberg.actions.RewriteDataFilesActionResult
import org.apache.iceberg.flink.TableLoader
import org.apache.iceberg.flink.actions.Actions;


object flink_test {

  def main(args: Array[String]): Unit = {
    
    val tableLoader:TableLoader = TableLoader.fromHadoopTable(
      "hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/"
    )
    tableLoader.open()
    val table:Table = tableLoader.loadTable()
    val result:RewriteDataFilesActionResult = Actions.forTable(table)
      .rewriteDataFiles()
      .execute()
    
  }
}

将代码进行打包，上传到服务器上面，运行jar包

[root@flink1 ~]# flink run -c flink_test -D classloader.check-leaked-classloader=false /root/flink_dev-1.0-SNAPSHOT.jar 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/flink-1.14.3/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
[root@flink1 ~]#

再次查看HDFS的metadata和data目录文件，如下所示：

[root@flink1 ~]# 
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata
Found 22 items
-rw-r--r--   1 root supergroup       6493 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m0.avro
-rw-r--r--   1 root supergroup       6493 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m1.avro
-rw-r--r--   1 root supergroup       6423 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/2b20c57e-5428-4483-9f7b-928b980dd50d-m2.avro
-rw-r--r--   1 root supergroup       6423 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/58bc3631-aca1-4a55-9afb-c76c9d0cc592-m0.avro
-rw-r--r--   1 root supergroup       6425 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/58bc3631-aca1-4a55-9afb-c76c9d0cc592-m1.avro
-rw-r--r--   1 root supergroup       6430 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/58bc3631-aca1-4a55-9afb-c76c9d0cc592-m2.avro
-rw-r--r--   1 root supergroup       6478 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/5c33451b-48ab-4ce5-be7a-2c2d2dc9e11d-m0.avro
-rw-r--r--   1 root supergroup       6421 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/b243b39e-7122-4571-b6fa-c902241e36a8-m0.avro
-rw-r--r--   1 root supergroup       6423 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/b243b39e-7122-4571-b6fa-c902241e36a8-m1.avro
-rw-r--r--   1 root supergroup       6476 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/bc0e56ec-9f78-4956-8412-4d8ca70ccc19-m0.avro
-rw-r--r--   1 root supergroup       3895 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-138573494821828246-1-b243b39e-7122-4571-b6fa-c902241e36a8.avro
-rw-r--r--   1 root supergroup       3902 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-3407622807613840742-1-58bc3631-aca1-4a55-9afb-c76c9d0cc592.avro
-rw-r--r--   1 root supergroup       3864 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-453371561664052237-1-bc0e56ec-9f78-4956-8412-4d8ca70ccc19.avro
-rw-r--r--   1 root supergroup       3835 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-6410282459040239217-1-2b20c57e-5428-4483-9f7b-928b980dd50d.avro
-rw-r--r--   1 root supergroup       3792 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/snap-8012517928892530314-1-5c33451b-48ab-4ce5-be7a-2c2d2dc9e11d.avro
-rw-r--r--   1 root supergroup       2115 2022-02-13 22:01 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v1.metadata.json
-rw-r--r--   1 root supergroup       3141 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v2.metadata.json
-rw-r--r--   1 root supergroup       4197 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v3.metadata.json
-rw-r--r--   1 root supergroup       5399 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v4.metadata.json
-rw-r--r--   1 root supergroup       6597 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v5.metadata.json
-rw-r--r--   1 root supergroup       7634 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/v6.metadata.json
-rw-r--r--   1 root supergroup          1 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/metadata/version-hint.text
[root@flink1 ~]# 
[root@flink1 ~]# 
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china
Found 3 items
-rw-r--r--   1 root supergroup       1258 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china/00000-0-4ef3835f-b18b-4c48-b47a-85af1771a10a-00001.parquet
-rw-r--r--   1 root supergroup       1257 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china/00000-0-6e66c02b-cb09-4fd0-b669-15aa7f5194e4-00001.parquet
-rw-r--r--   1 root supergroup       1422 2022-02-13 22:51 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-01/country=china/00000-0-8410e44a-bed3-45c8-9c3d-37cb42443087-00001.parquet
[root@flink1 ~]#
[root@flink1 ~]# hadoop fs -ls hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan
Found 4 items
-rw-r--r--   1 root supergroup       1244 2022-02-13 22:10 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-1d0ff907-60a7-4062-93a3-9b443626e383-00001.parquet
-rw-r--r--   1 root supergroup       1229 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-4ef3835f-b18b-4c48-b47a-85af1771a10a-00002.parquet
-rw-r--r--   1 root supergroup       1230 2022-02-13 22:05 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-6e66c02b-cb09-4fd0-b669-15aa7f5194e4-00002.parquet
-rw-r--r--   1 root supergroup       1251 2022-02-13 22:11 hdfs://nnha/user/iceberg/warehouse/iceberg_db/my_user/data/birthday=2022-02-02/country=japan/00000-0-ba8b2366-9189-48af-ae6d-8f20b297e0b4-00001.parquet
[root@flink1 ~]#

可以看到会将多个文件进行合并，生成新的文件。但是合并前的文件并没有删除

Bulut0907
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
湖仓一体电商项目（二十四）：合并Iceberg小文件
Lansonli（蓝深李）的博客
09-30 1968
随着不断删除snapshot，在Iceberg表不再有manifest文件对应的parquet文件也会被删除。Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Java Api 方式对Iceberg表可以进行数据文件合并，数据文件合并之后，会生成新的Snapshot且原有Snap快照数据并不会被删除，如果要删除对应的数据文件需要通过“Expire Snapshots来实现”。每次表提交后是否删除旧的元数据文件。
Flink集成iceberg数据湖之合并小文件
公众号[大数据技术与应用实战]，分享大数据实战案例
11-24 2301
传统的流式数据入库的过程中对小文件进行合并会产生很多问题，比如流式数据不断的往hive表进行写入，如果同时有一个合并程序进行小文件的合并，那么这时候对同一份数据进行读写。会不会产生问题。如何保证事务，出错了怎么回滚呢，这些都是很棘手的问题。 我们的流任务以flink为主，查询引擎是presto，所以调研以后，我决定引入iceberg来解决小文件合并的问题。
Flink 入湖，spark 压缩合并 iceberg 小文件 方案
最新发布
celltobig的专栏
06-27 529
解决方案2：自定义flink kafka source 源，需要压缩的时候，关闭写入数据的开关，从而达到 flink写数据无提交，直到压缩任务完成，再把开发打开，优点：官方提供的spark 压缩api，效果好，资源复用，并发高，2.Flink采集入湖，Spark小文件合并压缩，如果flink 提交快照时，与压缩任务提前的冲突，会导致压缩提交失败，Flink采集周期短，压缩时间长，这个问题会非常明显，几乎不可用，时间长了，最终雪崩。参考 src/main/java/task/SparkSqlSumit。
Iceberg小文件合并
不甚了然的博客
02-27 990
Iceberg提供了Actions来进行小文件合并，需要手动调用执行这个任务目前仅仅将小文件进行了合并生成大文件，但旧的文件并没有删除，也就是文件反而变多了功能一路调用，到RowDataRewriter类中的rewriteDataForTasks这里构建Flink任务，核心是RewriteMap的算子，其map方法如下，本质是读取并写入数据注意，这边小文件合并任务是多并发的，目前flink的并发度这里不提供配置，所以用的是flink的parallelism.default的值。
Apache Iceberg小文件处理和读数流程分析
微信搜：import_bigdata，大数据领域硬核原创作者
07-12 1081
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！第一部分：Spark读取Iceberg流程分析 这个部分我们分析常规数据读取流程，不涉及到数据更新，删除等场景下的读取。数据读取大概可以分为两个步骤通过 Iceberg 的元数据 snapshot, manifest file 等解析出包含数据文件信息的 DataFile 对象读取数据文...
实践数据湖iceberg 第九课 合并小文件
spark_dev的博客
01-28 4122
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言1. 合并小文件二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考
尚硅谷大数据技术之数据湖Iceberg-1.1.0.docx
03-06
- **定义**：Iceberg 是一种针对海量数据分析设计的开放表格式(Table Format)，它位于计算框架（如 Flink、Spark 等）之下，数据文件之上，是一种元数据及数据文件的组织方式。 #### 1.2 冰山（Iceberg）特性详解 ...
Flink 流式写入Iceberg实现原理
Deepexi_Date的博客
01-27 2805
Iceberg作为凌驾于HDFS和S3等存储系统之上的数据组织框架，提供了数据写入、读取、文件管理和元数据管理等基本功能，虽然Iceberg提供了丰富的API接口，但是面向API开发需要使用方比较了解其原理和实现细节，还是显得门槛过高。此外，在面向实时数据读写场景，需要有一个桥接框架来自动完成数据的读写，于是Iceberg和Flink成为天作之合，本文就来研究下Iceberg是如何跟Flink对接的。 Flink写入Iceberg总体流程介绍 Flink典型的数据处理链路是Source->Transf
在 Flink 中使用 iceberg
xuronghao的博客
11-18 4622
Apache Iceberg 支持Apache Flink的DataStream API 和 Table API 将记录写入 iceberg 的表，当前，我们只提供 iceberg 与 apache flink 1.11.x  的集成支持。 Feature support Flink 1.11.0 Notes SQL create catalog ✔️ SQL create database ✔️ SQL create table ✔️ SQL alter tab
Flink 如何实时分析 Iceberg 数据湖的 CDC 数据
阿里云云栖号
02-26 1155
简介： 数据湖的架构中，CDC 数据实时读写的方案和原理 本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的方案和原理。文章主要分为 4 个部分内容： 常见的 CDC 分析方案 为何选择 Flink + Iceberg 如何实时写入读取 未来规划 一、常见的 CDC 分析方案 我们先看一下今天的 topic 需要设计的是什么？输入是一个 CDC 或者 upsert 的数据，输出是 Database 或者是用于大数据 OLAP 分析的存储。 .
Iceberg-Blog
05-26
Iceberg-Blog Why Iceberg Blog 为什么叫 Iceberg Blog ？ 学无止境，无论何时，我们都会感到知识就像一座冰山，我们学到的只是冰山一角。 博客简介 项⽬描述：采⽤前后端分离架构实现的博客系统，主体架构采用 SpringBoot + Thymeleaf + MyBatis，基于Java环境采用 IntelliJ IDEA 开发，使用 Maven 工具构建。 涉及技术：Spring Boot、MyBatis、Thymeleaf 设计细节：整个项⽬分为登录、博客管理、分类管理、标签管理、评论管理、系统配置等多个模块 本博客系统页面优美简介，但是作为个人博客，基本满足大部分需求； 可作为SpringBoot学习学习项目，也可作为个人博客搭建； 运行配置 运行 sql 脚本（sql 脚本位于 sql 目录中），修改application.properties配置
初识 Apache Iceberg 及自动化 Iceberg 表维护（小文件治理）
weixin_39750695的博客
07-05 1553
Apache Iceberg 架构迁徙及 自动化小文件治理方案
实践数据湖iceberg 第三十八课 spark sql， Procedures语法进行数据治理（小文件合并，清理快照）
spark_dev的博客
08-05 2050
从kafka源写入iceberg，会生成大量的小文件，合并小文件，有代码的方式，spark3结合iceberg0.11后，支持使用sql方式实现文件治理，本文记录 expire_snapshots,rewrite_manifests的运行效果与底层文件的变化
Iceberg从入门到精通系列之十四：合并文件和元数据管理
zhengzaifeidelushang的博客
07-02 832
Iceberg从入门到精通系列之十四：合并文件和元数据管理
Apache Iceberg 是如何解决小文件问题的？
过往记忆大数据
11-24 2809
在 《一条数据在 Apache Iceberg 之旅：写过程分析》 这篇文章中我们分析了 Apache Iceberg 写数据的源码。如下是我们使用 Spark 写两次数据到 Icebe...
flink 集成 iceberg问题 持续更新
enviable的博客
12-12 410
flink 集成 iceberg
数据湖（十七）：Flink与Iceberg整合DataStream API操作
Lansonli（蓝深李）的博客
07-12 1467
文章目录Flink与Iceberg整合DataStream API操作一、DataStream API 实时写入Iceberg表1、首先在Maven中导入以下依赖2、编写代码使用DataStream API将Kafka数据写入到Iceberg表3、在Kafka 中创建代码中指定的“flink-iceberg-topic”并启动代码生产数据4、通过Hive查看保存到Iceberg中的数据二、​​​​​​​DataStream API 批量/实时读取Iceberg表1、批量/全量读取2、实时读取三、​​​​​​
Iceberg删除过期snapshots、老的metadata files、孤立的文件，合并data files和manifests
Bulut0907
06-24 4468
目录1. 过期snapshots的处理2. 删除老的metadata files3. 删除孤立的文件4. 合并data files5. Rewrite manifests 1. 过期snapshots的处理 Iceberg表每一次write都会产生一个新的snapshot，同时也会产生一个新的version版本。所以对于流式写入，会产生大量的snapshot。因此需要将老的snapshot标记为过期。这样新生成的vN.metadata.json文件，就不会包含过期的snapshot 当一个data file
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值