跑批中某脚本一直卡死
排查原因是某一个reducer跑的很慢导致整个任务卡死
继续追踪 是因为groupby 的某个字段出现了数据倾斜
解决方案:
将group by a,b,c 改写成 group by concat(a,b,c) 再嵌套一层sql解析原有字段,成功解决了数据倾斜的问题
跑批中某脚本一直卡死
排查原因是某一个reducer跑的很慢导致整个任务卡死
继续追踪 是因为groupby 的某个字段出现了数据倾斜
解决方案:
将group by a,b,c 改写成 group by concat(a,b,c) 再嵌套一层sql解析原有字段,成功解决了数据倾斜的问题