Sqoop数据导出

Sqoop安装部署 ：https://blog.csdn.net/weixin_45102492/article/details/104600343
sqoop的一些常用命令及参数 ：https://blog.csdn.net/weixin_45102492/article/details/92438970
sqoop数据导入 ：https://blog.csdn.net/weixin_45102492/article/details/90727928
Sqoop数据导出 ：https://blog.csdn.net/weixin_45102492/article/details/104675105
Sqoop之hive的job ：https://blog.csdn.net/weixin_45102492/article/details/104608162
Sqoop抽取数据常见错误 ：https://blog.csdn.net/weixin_45102492/article/details/104608006

公用参数：export

参数	说明
–input-enclosed-by	对字段值前后加上指定字符
–input-escaped-by	对含有转移符的字段做转义处理
–input-fields-terminated-by	字段之间的分隔符
–input-lines-terminated-by	行之间的分隔符
–input-optionally-enclosed-by	给带有双引号或单引号的字段前后加上指定字符

从HDFS（包括Hive和HBase）中将数据导出到关系型数据库中

 sqoop export \
    --connect jdbc:mysql://localhost:3306/hyk \
    --driver com.mysql.jdbc.Driver \
    --username root \
    --password 123456 \
    --table dept \
    --num-mappers 1 \
    --export-dir /hyk/data/test \
    --input-fields-terminated-by "\t" \
    --lines-terminated-by "\n"

参数

参数	说明
–direct	利用数据库自带的导入导出工具，以便于提高效率
–export-dir	存放数据的HDFS的源目录
-m或–num-mappers	启动N个map来并行导入数据，默认4个
–table	指定导出到哪个RDBMS中的表
–update-key	对某一列的字段进行更新操作
–update-mode	updateonly，allowinsert(默认)
–input-null-string	请参考import该类似参数说明
–input-null-non-string	请参考import该类似参数说明
–staging-table	创建一张临时表，用于存放所有事务的结果，然后将所有事务结果一次性导入到目标表中，防止错误。
–clear-staging-table	如果第9个参数非空，则可以在导出操作执行前，清空临时事务结果表

更新导出

导出语句:

sqoop export \
--connect jdbc:mysql//node01:3306/hyk \
--username root \
--password 123456 \
--table dept \
--export-dir /hyk/data/test \
--input-fields-terminated-by '\001' \
--update-mode allowinsert \
--update-key id

参数	描述
–update-mode	updateonly：是默认，仅更新；allowinsert: 更新井允许插入。
–update-key	自定关系型数据库中的主键

sqoop export \
--connect jdbc:mysq1://node01:3306/hyk \
--username root \
--password 123456 \
--table dept \
--hcatalog-database default \
--hcatalog-table dept_ods \
--num-mappers 1

参数说明

参数	描述
–table	MySQL库中的表名
–hcatalog-database	Hive中的库名
–hcatalog-table	Hive库中的表名，需要抽数的表