sqoop增量MySQL_sqoop全量增量数据导入HDFS

用到的表，表名t00_test

全量导入

将sqlserver表导入hdfs：

直接导出全表

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --fields-terminated-by '\t' -m 1

导出指定列

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --columns 'v00,v01' --where 'v01>1' --fields-terminated-by '\t' -m 1

#  --columns    指定列      --where '条件'  指定条件

SQL语句导出指定列

(有条件)

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --target-dir 'hdfs://nameservice/user/root/t00_test1' --query "select v00,v01 from t00_test where v01<50 and \$CONDITIONS" --fields-terminated-by '\t' -m 1

(无条件)

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --target-dir 'hdfs://nameservice/user/root/t00_test1' --query "select v00,v01 from t00_test where \$CONDITIONS" --fields-terminated-by '\t' -m 1

注意：

(1)SQL语句必须要用双引号，其他引号可单可双(2)必须制定目标文件的位置，--target-dir HDFS目标目录，目录如果设定在本地，则可能会提示权限不足导入失败。(3)用sql选择导入则必须加入where \$CONDITIONS(4)SQL导入就不能再加--table tablename 语句了

将MySQL表导入hdfs：

其他的跟SqlServer一样，只是数据库这里要稍作一下改变

sqoop import --connect 'jdbc:mysql://192.168.XXX.XXX:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false' --username aaa --password 123 --table t00_test --fields-terminated-by '\t' -m 1

这里为什么数据库信息后面要加useUnicode=true&characterEncoding=utf-8&useSSL=false，不然会有如下错误提示：

WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.

补充：

-m 后面的数字表示mapper任务数，如果设为大于1的数，即表示导入方式为并发导入，这时我们必须同时指定 - -split-by 参数指定根据哪一列来实现哈希分片，从而将不同分片的数据分发到不同 map 任务上去跑，避免数据倾斜。

查看导入成功后的HDFS对应目录上的文件(此HDFS目录事先不需要自己建立，Sqoop会在导入的过程中自行建立，若是不写--target-dir 则默认是hdfs上的user/username/tablename 路径)：

查看hdfs里的文件：hadoop fs -ls hdfs://nameservice/user/root/t00_test

删除hdfs里面的文件：hadoop fs -rmr hdfs://nameservice/user/root/t00_test

查看导入表的数据：hadoop fs -cat hdfs://nameservice/user/root/t00_test/part-m-00000

增量导入

将sqlserver表导入hdfs：

#  -check-column  #指定检索列、-last-value  #从该值所在行开始导入、-incremental  #指定导入模式

append模式：基于递增列的增量导入(将递增列值大于阈值的所有数据增量导入)，只对数据进行附加，不支持更改

lastmodified模式：基于时间列的增量导入(将时间列大于等于阈值的所有数据增量导入)，适用于对源数据进行更改，对于变动数据收集，必须记录变动时间

Append方式

增量导入所有列：

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --check-column v00 --last-value '2019-03-6' --incremental append--fields-terminated-by '\t' -m 1

增量导入指定列：

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --check-column v00 --last-value '2019-03-17' --incremental  append--columns 'v00,v01' --where 'v01>1' --fields-terminated-by '\t' -m 1

SQL语句增量导入指定列：

(有条件)

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --check-column v00 --last-value '2019-03-17' --incremental  append--target-dir 'hdfs://nameservice/user/root/t00_test1' --query "select v00,v01 from t00_test where v01<50 and \$CONDITIONS" --fields-terminated-by '\t' -m 1

(无条件)

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --target-dir 'hdfs://nameservice/user/root/t00_test1' --query "select v00,v01 from t00_test where \$CONDITIONS" --fields-terminated-by '\t' -m 1

lastmodified模式

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_test --check-column v00 --last-value '2019-03-17' --incremental lastmodified --merge-key v00--fields-terminated-by '\t' -m 1

sqoop import --connect 'jdbc:sqlserver://192.168.XXX.XXX:1433;database=Data00' --username aaa --password 123 --table t00_copy1 --check-column occur --last-value '2015-09-05 13:35:00' --incremental lastmodified --merge-key occur--columns 'occur,v00,v01' --fields-terminated-by '\t' -m 1

特别的：

如果last-value指定的值不在表中，则会对这个值进行比较，导出比这个值大的部分，比如执行--last-value '2019-03-07'

重要Tip：

生产环境中，为了防止主库被Sqoop抽崩，我们一般从备库中抽取数据。

一般RDBMS的导出速度控制在60~80MB/s，每个 map 任务的处理速度5~10MB/s 估算，即 -m 参数一般设置4~8，表示启动 4~8 个map 任务并发抽取。