Spark抽取MySQL分表优化

从MySQL抽取Hive表XXX ,MySQL中有128张分表
原抽数逻辑SQL为
SELECT
CONCAT(good_sn, “#”, wh_code) AS goodsId,
MAX(ship_price/exchange_rate) AS shipPrice,
MAX(ship_fee/exchange_rate) AS shipFee,
price_type AS shipType
pipeline_code
FROM
goods_price_factor_s_${order}
WHERE site_code=‘GB’
AND is_latest = 1
AND (price_type = 1 OR price_type = 4)
GROUP BY good_sn,wh_code,price_type,pipeline_code
这样GROUP BY+MAX操作就会在MySQL端进行
2019-01-06抽数结果值有347691263条
抽数任务执行了3.7H

将SQL修改为只根据where条件过滤并抽取所需要的字段
将需要的数据通过JDBC直接拉取过来后再进行逻辑操作
但需要注意的是,合并成大表时不能做GROUP BY 操作,否则会产生shuffle切割stage,导致每一张单表会串行执行,且每张MySQL的单表会生成一个stage
该表有128张分表,即会产生128个小的stage,产生大量IO,且在合并时会生成一个25600个task的stage(128个task*默认200并行度)
这个stage如果不做重分区处理还会写出25600个小文件会对服务器造成很大压力