qq_45854563的博客

原创 sqoop 命令行参数-m和--split-by的用法以及注意事项（有大坑！）

最近在办公的时候，通常用的sqoop从pg数据库抽到hive竟然出现了数据量出错的问题，通过查看sqoop日志发现抽过来的数据量很不对劲，排查发现是--split-by参数设置的问题。 注意：这个是大坑，不要只看sqoop执行成功就完事儿了。 先来讲解一下sqoop中 --split-by参数的含义，这个参数的意义其实很简单，它一般是和-m来搭配使用的。该参数主要是用来**提高数据抽取的效率**，使得多个map并发执行抽取的操作。