Hive - 问题 & 解决

1 Hive - mapjoin

问题：

hive sql:select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802)
该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且会在reduce的过程中遇到内存不够而报错

解决方案：

考虑使用mapjoin，mapjoin会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中的表数据做匹配，将join操作放到map阶段，提高了运行效率，一定程度上可以解决数据倾斜问题

MapJoin:
hive> set hive.auto.convert.join=true; //默认为true，已经开启
hive.mapjoin.smalltable.filesize=25000000 //表文件的大小作为开启和关闭MapJoin的阈值

实际生产环境，我们可以通过set hive.mapjoin.smalltable.filesize的方式，提高开启MapJoin表文件的阈值，进而提高运行效率，解决数据倾斜的问题