sqoop 操作命令

文章详细介绍了如何使用Sqoop工具进行数据导入和导出操作,包括从数据库到HDFS,从HDFS到Hive,以及从Hive回导到数据库。示例中涉及了JDBC连接字符串、表名、查询条件、字段分隔符等关键参数的设置。
摘要由CSDN通过智能技术生成

下载驱动包上传到/opt/cloudera/parcels/CDH-5.12.2-1.cdh5.12.2.p0.4/lib/sqoop/bin

sqoop import 
--connect <JDBC连接字符串> 
--username <用户名> 
--password <密码>
--table <表名> 
--target-dir <目标目录>
--columns <字段名> 例如:--columns "name,employee_id,jobtitle"
--where <查询条件> 例如:--where "id > 400"
--query <执行sql查询语句> 例如:--query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' 
             双引号查询可能如下所示:--query "SELECT * FROM x WHERE a='foo' AND \$CONDITIONS"


导入数据到HDFS

sqoop import \
--connect 'jdbc:sqlserver://ip:port;database=test;username=sa;password=password' \
--table table1 \
--target-dir /tmp/dbo/table1 \
--num-mappers 1 \
--fields-terminated-by "\t"


导入数据到hive,默认导入的地址是:/user/hive/warehouse

sqoop import \
--connect 'jdbc:sqlserver://ip:port;database=test;username=sa;password=password' \
--table table1 \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table table1_hive

从HIVE/HDFS 导出数据

sqoop export \
--connect 'jdbc:sqlserver://1ip:port;database=test;username=sa;password=password' \
--table table2 \
--export-dir /user/hive/warehouse/table1_hive \            
--input-fields-terminated-by "\t"


执行脚本
sqoop --options-file <脚本地址>
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WS_926

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值