HIVE 合并小文件

今天，用Flink写入hive的时候，突然想到一个问题，就是如果隔一个小时生成一个文件，那么kafka的并行度为12，也就是说，一个小时会产生12个文件。一天就是12*24个文件，10天，就有2000多个文件。这个肯定是不可取的。

于是研究一下，如何合并hive小文件，大家可以参考https://cloud.tencent.com/developer/article/1514064 这篇文章。于是基于CDH中，进行了修改

这修改后，保存参数重启即可。这里，小文件平均大小合并阈值 16M比较小 ，生产中，可以设置为128M。

之后  insert overwrite table xxx  select * from xxx;  就会将文件合并重新覆盖回去。

值得一提的是，对于没有涉及到的文件(就是hive查询中，没有查到的文件，譬如flink写入时:_part...pending 这种中间文件)，

hive并不会覆盖，这就比较好了