Flink实战之合并小文件

背景

Flink的filesystem connector支持写入hdfs，同时支持基于Checkpoint的滚动策略，每次做Checkpoint时将inprogress的文件变为正式文件，可供下游读取。
由于并行度设置、数据量大小、Checkpoint配置的不同、分区的选择，都有可能导致产生大量的小文件，这对hdfs产生很大影响。但是可以通过一些手段来减少小文件，本文主要探讨一些filesystem connector支持的partition commit policy，通过自定义policy来合并小文件。

1.11

目前1.11版本官方只支持metastore和success file的策略，以及可供用户自定义的custom策略。我们就自定义一个合并小文件的策略。网上有现成的代码,我也是基于这个代码做了测试。
测试结果是写hdfs时可以正常合并小文件并生成目标文件，写hive表时却无法生成目标文件，具体原因还不得而知。

分区提交的原理

如果看过源码的话会发现filesystem是依赖StreamingFileSink来写文件的，更深入点就是StreamingFileWriter的Operator，如果指定了分区提交策略还会有StreamingFileCommitter的Operator，分区提交的逻辑就在FileCommiter里面。
当Checkpoint完成最后会调用各个Operator的NotifyCheckpointComplete方法，在StreamingFileWriter的该方法中会构造一个CommitMessage对象发送给下游Operator，CommitMessage包括CheckpointID、当前的subtask、所有subtask数量以及需要提交的分区（非激活状态）。

private void commitUpToCheckpoint(long checkpointId) throws Exception {
   
		helper.commitUpToCheckpoint(checkpointId);
		CommitMessage message = new CommitMessage(
				checkpointId,
				getRuntimeContext().getIndexOfThisSubtask(),
				getRuntimeContext().getNumberOfParallelSubtasks(),