Hive MapReduce小文件问题异常处理

namenode： HDFS的文件元信息，包括位置、大小、分块信息等，保存在NameNode的内存中的，每个对象大约占用150个字节。

问题描述：hive计算时，数据输入文件的索引总量超过集群限制（10M），导致无法进行计算，job抛错

源码剖析：hive.index.compact.query.max.entries： 使用压缩索引查询时能读到的最大索引项数， 默认是10000000；负值代表无穷大；

 

                             

报错截图：Failure Info:Job initialization failed: java.io.IOException: Split metadata size exceeded 10000000.                              

原因解析：需要查询近180天中间表(源表:edw.table)数据，数据量180个分区，每个分区720个文件，每个文件大小256G，共计180*720=129600个文件  占用namenode内存 129600*150≈18.5M   已超过hive默认配置

解决办法：

1. 输入合并。即在Map前合并小文件