调度中某跑批脚本出现问题
排查原因发现是某一个reducer卡死了
继续追踪 原因是group by 字段中有一个字段,出现了大量记录集中于一个值上,造成了数据倾斜
解决方案,将group by a,b,c 改写成group by concat(a,b,c) 再嵌套一层解析出原始的三个字段的sql 成功解决了数据倾斜的情况
调度中某跑批脚本出现问题
排查原因发现是某一个reducer卡死了
继续追踪 原因是group by 字段中有一个字段,出现了大量记录集中于一个值上,造成了数据倾斜
解决方案,将group by a,b,c 改写成group by concat(a,b,c) 再嵌套一层解析出原始的三个字段的sql 成功解决了数据倾斜的情况