sqoop export hive数据同步到oracle的用法

本文详细介绍了使用Sqoop Export从Hive同步数据到Oracle的过程,包括参数设置、数据更新模式及注意事项。通过指定连接信息、表名、字段、分隔符、更新键等参数,实现数据的高效迁移。同时强调了主键处理、HDFS路径、批处理模式和空值处理的重要性。在实际操作中需注意源表和目标表的大小写、字段数量和字段分隔符的一致性。
摘要由CSDN通过智能技术生成

1、export 的参数

在这里插入图片描述

2、数据同步案例

 sqoop export \
 --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名 --password 密码\
 --table F_L_C_EUTRANCELLTDD_H \
 --columns \
            START_TIME,END_TIME,TIME_STAMP,DN,EUTRANCELLTDD_UK,EUTRANCELLTDD_NAME,ENBFUNCTION_UK,ENBFUNCTION_NAME,MANAGEDELEMENT_UK,MANAGEDELEMENT_NAME,OMC_UK,OMC_NAME,RRC_SETUPTIMEMEAN,RRC_SETUPTIMEMAX,\
            RRC_CONNMEAN,RRC_CONNMAX,RRC_ATTCONNESTAB,RRC_SUCCCONNESTAB,RRC_ATTCONNREESTAB,RRC_SUCCCONNREESTAB,RRC_CONNRELEASECSFB,ERAB_NBRMEANESTAB,ERAB_ESTABTIMEMEAN,ERAB_ESTABTIMEMAX,ERAB_NBRHOINC,\
            IRATHO_AVGTIMEOUT5G_EXEC,IRATHO_ATTINC5G,IRATHO_SUCCPREPINC5G,IRATHO_FAILPREPINC5G,IRATHO_SUCCINC5G \
--fields-terminated-by "|" --update-key START_TIME,EUTRANCELLTDD_UK \
--update-mode allowinsert --export-dir \
/user/hive/warehouse/wxwy.db/f_l_c_eutrancelltdd_h/partitionday="20220224"/partitionhour="2022022410" \
--num-mappers 8 --batch --input-null-string '\\N'  --input-null-non-string '\\N'\

table F_L_C_EUTRANCELLTDD_H Oracle的目标表
columns 列出字段
-fields-terminated-by "|" 字段建用|作为分隔符
--update-key START_TIME,EUTRANCELLTDD_UK 利用 –update-key 字段 ,表示主键重复时会进行更新,但是主键不重复的时候,数据不会插入进来
--update-mode allowinsert 表示主键重复时会进行更新,主键不重复的时候,数据也会插入进来
--export-dir HDFS 上导出时的路径
--num-mappers 8 启动8个mapTask,默认4个
--batch 指示使用批处理模式执行底层的SQL语句。在导出数据时,该参数能够将相关的SQL语句组合在一起批量执行,也可以使用有效的API在JDBC接口中配置批处理参数
--input-null-string '\\N' --input-null-non-string '\\N'\ Hive中的Null在底层是以“\N”来存储,为了保证数据两端的一致性在导出数据时采用–input-null-string和–input-null-non-string两个参数。

3、注意事项

注意1:Oracle的目标表大写,hive的源表小写。

注意2:若字段太多,可一行多写几个字段。

注意3:HDFS文件字段分割符需要与建表时的分割符保持一致

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值