环境
- hudi 0.11.1
- flink 1.14.5
- MOR表,按天分区,约几百个,每个分区下基本只有一个base文件(最近的分区文件也不多)
- Aligned Checkpoints
- checkpoint timeout 10 分钟
- checkpoint interval 1 分钟
首次checkpoint超时报错
Checkpoint expired before completing.
有一个hudi mor表,我们在它上面做实时应用,但要求初始运行时也须要处理历史的全量数据,因此在使用hudi的增量查询时设置了read.start-commit=earliest
,在运行10分钟后就超时报错。通过查看checkpoint详情,发现split_monitor很快完成了ckp,但是算子split_reader一直没有响应,所以是它阻塞了checkpoint.
split_reader为什么不checkpoint
通过观察每个算子的输入输出监控信息,split_monitor首次增量查询时产生了约1000+个分片(文件切片),实际的表基本就是1000+个很小的parquet文件(几千万数据)。