sqoop基本命令

sqoop连接

sqoop import –connect jdbc:mysql://localhost/db –username name –password 12345

手动指定驱动

–driver com.microsoft.jdbc.sqlserver.SQLServerDriver

数据导入hive

–hive-import

写sql语句导入

–query ‘select * frome tab’

手动设置参数

sqoop import -D property.name=property.value …

导入目标目录

–target-dir

并发数量

-m ${parallel_count}

导出

export

通过某个字段分割
默认是主键,假设有100行数据,它会执行那个SELECT * FROM sometable WHERE id >= lo AND id < hi, with (lo, hi) 会分为4次导入(0,250),(250,500),(500,750),(750,1001)。如果这个字段不能达到实际的划分区域的效果,可以用别的字段。如果没有索引列或者是组合主键的表,需要手动设置一个划分列

–split-by

转换为对象

–map-column-java 转换为java数据类型
–map-column-hive 转转为hive数据类型

hive空值处理
sqoop会自动把NULL转换为null处理,但是hive中默认是把\N来表示null,因为预先处理不会生效的
我们需要使用 –null-string 和 –null-non-string来处理空值 把\N转为\N

sqoop import … –null-string ‘\N’ –null-non-string ‘\N’

hive导入参数

–hive-home 重写$HIVE_HOME
–hive-import 插入数据到hive当中,使用hive的默认分隔符
–hive-overwrite 重写插入
–create-hive-table 建表,如果表已经存在,该操作会报错!
–hive-table 设置到hive当中的表名
–hive-drop-import-delims 导入到hive时删除 \n, \r, and \01
–hive-delims-replacement 导入到hive时用自定义字符替换掉 \n, \r, and \01
–hive-partition-key hive分区的key
–hive-partition-value hive分区的值
–map-column-hive 类型匹配,sql类型对应到hive类型

如果存在就更新,不存在就插入

–update-mode allowinsert

导入所有的表sqoop-import-all-tables
每个表都要有主键,不能使用where条件过滤

sqoop import-all-tables –connect jdbc:mysql://db.foo.com/corp

增加导入

–check-column (col) 指定需要导入的列
–incremental (mode) 指定哪一行是新值并指定筛选新值模式
–last-value (value) 前一次导入数据中某列的最大值

direct是为了利用某些数据库本身提供的快速导入导出数据的工具,比如mysql的mysqldump性能比jdbc更好,使用的时候,那些快速导入的工具的客户端必须在shell脚本的目录下

sqoop import –connect jdbc:mysql://server.foo.com/db –table bar –direct –default-character-set=latin1

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值