Delete Formats

本文详细介绍了Apache Iceberg的行级删除功能,包括基于位置的delete files和基于列值相等的equality delete files。位置删除通过文件路径和位置标识删除的行,而相等删除则依据列值匹配来标记已删除的行。这两种方式都有助于在重建表的更改流时高效地编码删除操作。
摘要由CSDN通过智能技术生成

本节详细介绍Iceberg如何进行行级删除。v1中不支持行级删除。

行级删除文件是有效的Iceberg数据文件:文件必须使用有效的Iceberg格式、schema和column projecttion。建议使用表的默认文件格式写入删除文件。

行级删除文件由manifest文件(清单)跟踪。删除文件使用一组相互独立的清单,但清单的schema是相同的。

position delete(位置删除)和equality delete(相等删除)都允许用delete对已删除的行值进行编码。这可用于重建表的更改流。

row delete files(基于位置的delete files)

注意理解这里的delete files定义:delete files是记录被删除的行的文件,而不是指被删除的文件,delete files类似于一种字典,用于记录被删除的行

delete files通过文件和位置(这两个坐标)标识被删除的行。

基于位置的delete files存储file_position_delete这种结构体,该结构体包含以下字段:

<
Field id, name Type Description
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值