Sqoop常用命令

Sqoop的常用命令如下表所示

命令说明
list-databases列出所有数据库名
list-tables列出某个数据库下所有表
import将数据导入到HDFS集群
export将HDFS集群数据导出
help打印sqoop帮助信息
version打印sqoop版本信息

对于不同的命令,有不同的参数,接下来我们来一一列举说明。
首先是公用的参数,所谓公用参数,就是大多数命令都支持的参数。最常用的公共参数是数据库连接的参数,如下表所示:

参数说明
–connect连接关系型数据库的URL
–username连接数据库的用户名
–password连接数据库的密码

import命令用于将关系型数据库中的数据导入到HDFS(包括Hive,HBase)中。如果是导入到Hive,那么当Hive中没有对应表时,会自动创建。Import命令的常用参数如下表所示:

参数说明
–fields-terminated-byHive中的列分隔符,默认是逗号
–lines-terminated-byHive中的行分隔符,默认是\n
–append将数据追加到HDFS中已经存在的DataSet中,如果使用该参数,sqoop会把数据先导入到临时文件目录,再合并。
–columns指定要导入的字段
–m或–num-mappers启动N个map来并行导入数据,默认4个。
–query或–e将查询结果的数据导入,使用时必须伴随参–target-dir,–hive-table,如果查询中有where条件,则条件后必须加上$CONDITIONS关键字
–table 关系数据库的表名
–target-dir 指定导入数据存储的HDFS路径
–null-stringstring类型的列如果null,替换为指定字符串
–null-non-string非string类型的列如果null,替换为指定字符串
–check-column作为增量导入判断的列名
–incrementalmode:append或lastmodified
–last-value指定某一个值,用于标记增量导入的位置

export命令用于将HDFS(包括Hive和HBase)中的数据导出到关系型数据库中。Export命令中常用的参数如下表所示:

参数说明
–input-fields-terminated-byHive中的列分隔符,默认是逗号
–input-lines-terminated-byHive中的行分隔符,默认是\n
–export-dir存放数据的HDFS的源目录
-m或–num-mappers启动N个map来并行导出数据,默认4个
–table指定导出到哪个RDBMS中的表
–update-key对某一列的字段进行更新操作
–update-modeupdateonly或allowinsert(默认)
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值