Sqoop并发控制及相关问题

一、控制参数

Sqoop 可以通过以下参数控制并发读取的 Mapper 个数加快读取速度。

sqoop import -m <mapper_num> --split-by pk
或者
sqoop import --num-mappers <mapper_num> --split-by pk

Sqoop 计算每个 Mapper 读取的数据范围的时候，会遵循很简单的公式计算：

range = (max(pk) - min(pk)) / mapper

然后会把max、min之间的区间平均分为mapper分，最后mapper个并行的map去找数据库，导数据就正式开始啦！

如果不指定–split-by，默认是主键，Sqoop当前无法在多列索引上拆分。如果您的表没有索引列，或者具有多列键，那么您还必须手动选择一个拆分列，拆分列为null的行不会导入

二、问题

sqoop数据倾斜
如果主键不连续出现大幅度跳跃，就会导致 Sqoop 导入的时候出现严重的数据倾斜。比如某张表的主键分布是这样的：

1
2
3
...
1000
1001
100000
100001

几乎出现所有的数据 load 都集中在第一个 mapper 上，整体同步相当于没有并发。

解决：
1.可以手动split-by指定一个分布均匀number列，但是number为null的数据不会导入，优选选择非空的number列
2.将row_num添加到现有的表模式中并创建一个实体化视图。split-by指定为row_num，数据将平均分配到了映射器中。
3.给业务表添加自增列ID

相关链接
http://abhinaysandeboina.blogspot.com/2017/08/avoiding-data-skew-in-sqoop.html