iceberg 遇到的问题

1、小文件合并

通过org.apache.iceberg.actions.RewriteDataFiles来实现表的数据文件的合并，

        需要开启
    writetadata.delete-after-commit.enabled=true  # 删除历史数据
    writetadata.previous-versions-max=2           # 保留历史数据最大为2，加上最新数据，一共3个

 2、分区覆盖的时候发现，不是对分区的数据进行覆盖，而是对全部数据进行覆盖

-- 建表（隐藏分区-按月进行分区）
create table ods.student(
	id int,
	odstime string
)
using iceberg 
partitioned by (truncate(7, odstime)) 
tblproperties (
 'format-version'='2',
 'write.upsert.enabled'='true',
 'engine.hive.enabled'='true',
 'write.metadata.delete-after-commit.enabled'= true,
 'write.metadata.previous-versions-max' = 1
 ); 

-- 按照分区进行覆盖
insert overwrite table ods.student
select 1,'2024-10-12';
insert overwrite table ods.student
select 1,'2024-11-12';

--查询结果 数据是1，不满足需求
select count(1) from ods.student; --1

-- 开启动态分区覆盖
spark.sql.sources.partitionOverwriteMode=dynamic;
--插入数据
insert overwrite table ods.student
select 1,'2024-10-12';
insert overwrite table ods.student
select 1,'2024-11-12';

--查询结果 数据是2，满足需求
select count(1) from ods.student; --2