hive的数据倾斜原因:
1、业务数据本身的原因
2、某些Sql语句本身导致的原因
3、key值分布不均匀
解决方法:
参数设置:
hive.map.aggr=true,进行map端聚合
hive.groupby.skewindata=true
hive的数据倾斜原因:
1、业务数据本身的原因
2、某些Sql语句本身导致的原因
3、key值分布不均匀
解决方法:
参数设置:
hive.map.aggr=true,进行map端聚合
hive.groupby.skewindata=true