Hive知识之优化技巧

1、用GROUP BY替换DISTINCT去重

• 在极大的数据量且有很多重复值时，可以先 GROUP BY 去重，再使用 COUNT()计数，效率要高于 COUNT(DISTINCT)
• 去重字段的重复值时，使用 GROUP BY 效率也会比 DISTINCT 高

SElECT user_name
FROM trade
GROUP BY user_name;

2、使用MAPJOIN

• HSQL中涉及到多张表的JOIN，当有一张表的大小小于1G时，使用MAPJOIN可以明显的提高SQL的效率。
• 不过需要注意的是，如果最小的表大于1G，使用MAPJOIN会出现OOM的错误。