sqoop-export xxxxxx --table xxxxxxxxx --columns xxx,xxxx --fields-terminated-by ',' --input-null-string '' --input-null-non-string '' --export-dir "/hdfs/xxxxxx/dt=$dt" --update-key id --update-mode allowinsert
上面是一个Sqoop导出的例子
Sqoop export工具被用来将文件集合从HDFS中导入关系型数据库中。目标表必须事先已经在数据库中创建好。
输入文件根据用户指定分隔符被读取解析成记录集。
其中主要有两个模式:
-
INSERT模式
-
-
Sqoop默认的将每条记录以转换成INSERT语句添加到数据库表中,如果你的表达式存在一些约束如关键字唯一等(使用插入模式,如果一条记录插入失败,则JOB失败);
-
-
UPDATE模式
-
-
如果指定--update-key参数,Sqoop将会修改一个数据库中存在的数据集,每一条记录都会当作UPDATE语句来修改存在的记录。记录的修改语句根据—update-key指定的列(索引)决定。如果一个更新语句在数据库中没有对应的记录,则不会报错,导出操作会继续进行。只更新原始记录。
-
参数说明:
Argument |
Description |
--direct |