sqoop与vertica、hive连接

1.export

/opt/sqoop/bin/sqoop export \
-Dsqoop.export.records.per.statement=10000 \
--batch \
--driver com.vertica.jdbc.Driver \
--connection-manager org.apache.sqoop.manager.GenericJdbcManager \
--connect jdbc:vertica:XXXXXXXXXXXXXXX \
--username XXXXXXX \
--password XXXXXXXX \
--table FNODS.trfc_channel\
--columns 'data_date,platform_ver_id,channel_id' \
--export-dir /bigbi/hive/fntmp.db/trfc_channel \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by  '\n'  -m  3 \
--input-null-string '\\N' \
--input-null-non-string '\\N'

2.import

sqoop import \
--connection-manager org.apache.sqoop.manager.GenericJdbcManager \
--driver com.vertica.jdbc.Driver \
--connect jdbc:XXXXXXXXXXXXXXXXXXXXX \
--username XXXXXXXXXX \
--password XXXXXXXXXXXX \
--query 'select data_date,platform_ver_id,channel_id from FNODS.trfc_channel where $CONDITIONS' \
--target-dir /bigbi/dev/fntmp.db/tmp_trfc_channel_ \
--split-by platform_ver_id \
--hive-overwrite \
--hive-import \
--hive-table fntmp.tmp_trfc_channel \
--delete-target-dir \
--hive-drop-import-delims \
-m 3 \
--null-string ''\

没有此表时会 自动创建,类型是推断;
手动创建的结构则不会删除

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值