m0_65731723的博客

原创 hive在读取索引文件时将索引文件当成小文件合并怎么解决？

（1）大数据项目中，当ods层文件导入dim层出现乱码是因为：我们存储ods数据时创建了索引，hive将lzo索引当成小文件合并导致乱码。 解决办法：在使用hive查询数据时执行MR任务，会先经过hive.input.format，其默认值是CombineHiveInputFormat。它可以将多个小文件合并成一个分片，LZO的索引文件也会被当成小文件进行合并，这会导致LZO文件无法切片。只需要将hive.input.format设置成HiveInputFormat即可。 hive (default)&