sqoop import命令参数

--append            将数据追加到hdfs中

--as-avrodatafile   将文件导入到一个avro文件中

--as-sequencefile   将数据导入到一个sequencefile中

--as-textfile       将数据导入到一个文本文件

--boundary-query    边界查询,导入的数据为该参数的值(一条sql语句)所执行的结果区间内的数据

--columns           指定要导入的列,用逗号分隔

--direct            使用关系型数据库自带的导入导出工具

--direct-split-size 对direct导入的数据进行切分字节,达到阈值就是一个问题件

--inline-lob-limit  设置大对象数据类型的最大值

--m或–num-mappers   启动多少个map,默认4个

--query或--e        跟sql语句,使用时必须伴随参数 --taget-dir,--hive-table

--split-by			跟列名,按照一列来切分表的工作单元

--table             跟表名

--target-dir        指定hdfs路径

--warehouse-dir     与--target-dir参数不能共用,导入数据到hdfs指定目录

--where             从关系型数据库导入数据时的条件

--z或--compress     允许压缩

--compression-codec 指定压缩格式

--null-string       字符串类型如果为null,替换成指定字符串

--null-non-string   非字符串类型如果为null,替换成指定字符串

--check-column      增量导入判断的列名

--incremental       参数为append或者lastmodified

--last-value        指定一个值,用于标记增量导入的位置
 

从mysql导出到hive,每次导出全量覆盖:(–hive-*为公共参数)
sqoop公共参数链接
sqoop import
–connect xx
–username xx
–password xx
–table tableName1
–fields-terminated-by ‘\001’
–delete-target-dir
–num-mappers 1
–hive-import
–hive-overwrite
–hive-database dbName
–hive-table tableName2 \

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值