hive中常见的问题以及解决方案

hive中常见的问题以及解决方案
1.hive表关联查询，如何解决数据倾斜问题？
倾斜原因：map输出数据按照key的hash分配到reduce中区，由于key分布不均匀，或者业务数据本身问题等造成reduce上的数据量差异过大
解决方案：
（1）参数调节
hive.map.aggr = true
hive.groupby.skuwindata = true
有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中），最后完成最终的聚合操作。
(2)sql语句调节：
两个表连接时，用小表来驱动达标可以提高系统的执行效率
两表连接时，先执行的是两个表的笛卡尔积，接着是on的条件筛选，然后是join类型外部行的添加
inner join:没区别
left join：应该把大表放在后面
right join：应该把大表放在前面
① 选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join 的时候，数据量相对变小的效果。
② 大小表Join：
使用map