sqoop抽数、推数(关系型数据库:oracle; 数仓:impala)

本文介绍了如何使用sqoop工具将数据从Oracle数据库导入到Impala,以及从Impala导回到Oracle的过程,详细说明了相关参数配置和操作步骤。
摘要由CSDN通过智能技术生成

1.从Oracle抽数到impala

#!/bin/sh

source /etc/profile

source ~/.bash_profile

sqoop import --connect jdbc:mysql://ip:3306/数据库名称 \

--username 用户名称 --password 密码  --table '表名'     \

--columns 'columns1,colums2,colums3' \

--target-dir /FINBB/ODS/表名 \

--delete-target-dir \

--fields-terminated-by '\001' \

--lines-terminated-by '\n' \

--null-string '\\N' \

--null-non-string '\\N' \

--hive-drop-import-delims \

--num-mappers 1

[ $? -eq 0 ] || exit

impala-shell -q 'refresh 库名.表名;'

参数含义注释:

1)--target-dir:导入HDFS的目标路径

2)--null-string:字符串类型如果为null,替换成指定字符串

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值