Iceberg 合并小文件并删除历史(Flink)
Iceberg 合并小文件并删除历史(Flink)Iceberg每一次操作都会产生多个数据文件(metadata、data、snapshot),需要自行合并清理。详细Iceberg写入时文件变化请参考官网https://iceberg.apache.org/建表时新增with配置# iceberg使用代码合并小文件后如果不开启此配置,历史文件同样不会删除,开启后就会实现合并后清除历史文件(历史文件保留最大值为5,metadata和data里面文件数则始终保持为6个) # 启用提交后写入元数据
原创
2021-10-14 17:53:45 ·
37538 阅读 ·
0 评论