解决sqoop导入数据倾斜的问题

导致sqoop导入数据倾斜的原因：

1、数据分布不均匀，如上海人口和新疆人口
2、分区的不均，如在外语系，按性别分区

解决方案：

1、数据预处理
2、调整分区
3、增加并行度num-mappers,启动n个map并行导入数据，默认是4个
4、split-by参数指定分区列，可以实现按照分区并行导入数据，提高导入效率。请注意，分区列需要在源数据库中已经进行了分区划分，否则无法正常导入。