spark sql合并小文件_Delta lake 的分区表中的小文件合并

Delta Lake 作为存储是非常好用的，之前公司是通过 spark的jdbc将数据以parquet的格式存储到hdfs上，然后分区、合并、删除等。

但是这个会有问题，例如 删除的时候如果有其他任务在读取删除的文件会导致任务的失败等。最主要的是 这些分区 合并、删除、插入 都是 用spark1.6写的，里面的逻辑不想赘述了。

如今在微信中不经意的看到了Delta Lake，果断被它的优点所吸引，有点像cassandra。删除文件加入了 墓碑机制，相当于打个标签，但是不会立刻执行删除。但是使用 spark.read.format("delta")去读取的时候又不会读取到已经被打上删除标签的文件，非常好。

不过，在使用过程中，针对需要合并的操作，是使用 merge操作实现的，merge中又会触发shuffle，而shuffle 的值一旦设置的大点，会导致输出到hdfs的结果文件会很多。这个就很烦了。

后来一直在找 怎么解决小文件的问题。

后来发现 Delta Lake 在写入的时候有replaceWhere 这个选项。

可以在 这里设置替换的分区，这样可以通过

这样，使用 repartition 方法再重新写进去，就可以把 结果 合并了，不过在没有执行 vacuum 方法之前，文件还是不会删除的，但是执行 vacuum 后，可以看到，指定分区的文件个数已经变成了

numFiles的值了。