打标签任务优化

优化前:sql比较简单,表中数据是700万左右,就是查出某个表的数据,放到另一个表,但是中间用到了一个udtf函数,关键在于函数逻辑复杂。之前由于没有做优化,所以硬跑下来,耗时85分钟左右,日志没有数据倾斜现象。时间过去太久,运行图已经覆盖没有了,这里就不放了优化方式:因为数据量不是很大,也没有数据倾斜,而且从运行日志中可以看出没有reduce过程,所以就关注了map,发现只开启了2个map,然后怀疑是因为map太少了,处理数据条数太多,所以就把参数设置的小一点,从而使map数增加到了15,相当于15个并行

优化结果:运行时长稳定在15分钟以内

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值