python读取oracle数据到hvie_从Oracle导出数据并导入到Hive

本文介绍了如何使用Python将Oracle数据读取并导入到Hive的过程,包括配置数据连接、设置数据抽取任务,以及注意事项,如Hive驱动兼容性、数据分隔符和HDFS权限设置。在测试环境中,3GB数据迁移时间约为1分半。
摘要由CSDN通过智能技术生成

1、配置源和目标的数据连接

源(oracle):

43d590683b064ca0eaf701b0f904b530.png

目标(Hive 2.1.1)

bc43d3431eeb3c65d2b9a6d047efdd37.png

系统自带2.1.1的驱动jar包,如果该版本无法兼容你的Hive,可将对应版本hive驱动jar包导入HHDI的lib目录中。

自带的jar包包括以下文件:

hadoop-common-2.6.0.jar

hive-common-2.1.0.jar

hive-jdbc-2.1.0.jar

hive-metastore-2.1.0.jar

hive-serde-2.1.0.jar

hive-service-2.1.0.jar

hive-service-rpc-2.1.0.jar

hive-shims-2.1.0.jar

2、配置数据抽取任务,设定源和目标

源页签:

选择源数据连接和源表,生成查询语句,默认抽取该表中的所有字段和所有记录(20w条记录)

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值