参数 | 说明 |
---|---|
--connect | 连接关系型数据库的URL |
--username | 连接数据库的用户名 |
--password | 连接数据库的密码 |
--driver | JDBC 的driver class |
--query 或--e <statement> | 将查询结果的数据导入,使用时必须伴随参–target-dir,–hcatalog-table,如果查询中有where条件,则条件后必须加上$CONDITIONS 关键字。如果使用双引号包含sql,则$CONDITIONS 前要加上\以完成转义:\$CONDITIONS |
--hcatalog-database | 指定HCatalog表的数据库名称。如果未指定,default 则使用默认 数 据 库 名 称 。 提 供 --hcatalog-database 不 带 选 项--hcatalog-table 是错误的。--hcatalog-table 此选项的参数值为HCatalog 表名。该--hcatalog-table 选项的存在表示导入或导出作业是使用HCatalog 表完成的,并且是HCatalog 作业的必需选项。 |
--create-hcatalog-table | 此选项指定在导入数据时是否应自动创建HCatalog 表。表名将与转换为小写的数据库表名相同。 |
--hcatalog-storage-stanza 'stored as orc tblproperties("orc.compress"="SNAPPY")' \ | 建表时追加存储格式到建表语句中,tblproperties 修改表的属性,这里设置orc 的压缩格式为SNAPPY |
-m | 指定并行处理的MapReduce 任务数量。-m 不为1时,需要用split-by 指定分片字段进行并行导入,尽量指定int 型。 |
--split-by id | 如果指定-split by , 必须使用$CONDITIONS 关键字, 双引号的查询语句还要加\ |
--hcatalog-partition-keys --hcatalog-partition-values | keys 和values 必须同时存在,相当于指定静态分区。允许将多个键和值提供为静态分区键。多个选项值之间用,(逗号)分隔。比如:--hcatalog-partition-keys year,month,day --hcatalog-partition-values 1999,12,31 |
--null-string '\\N' --null-non-string '\\N' | 指定mysql 数据为空值时用什么符号存储,null-string针对string 类型的NULL 值处理,--null-non-string 针对非string 类型的NULL 值处理 |
--hive-drop-import-delims | 设置无视字符串中的分割符(hcatalog 默认开启) |
--fields-terminated-by '\t' | 设置字段分隔符 |
Sqoop的常用参数
最新推荐文章于 2023-06-06 10:58:31 发布