oracle sqoop 导出_Sqoop从Hive导出数据到Oracle

本文详细介绍了如何使用Sqoop将Hive表数据导出到Oracle数据库,包括设置Oracle模板表、获取Hive建表DDL、确定Hive表文件路径、指定Hive分隔符、配置Oracle连接参数、处理表名和列名大小写问题,以及在遇到问题时的排查方法。通过具体示例提供了一条完整的Sqoop export命令。
摘要由CSDN通过智能技术生成

近期临时需要把几个Hive表导出到Oracle中,参考了一些网上的文章,很有帮助,但是并不是很顺利,还是踩了些坑,所以再写多一篇,希望能帮助有需要的朋友更快完成任务。

首先要说下,因为没有长期或者大量的这种导出任务,所以我并没有花更多时间去做一些更自动化的脚本,Reference [1] 有个批量脚本,可以参考下。Oracle中建表

要把Hive的数据往Oracle导,需要Oracle中存在对应的表,但写建表脚本是个很没意思的事情,有些表动不动好几十个column,想想都头痛。Reference [2] 中和sqoop官方文档提到可以通过sqoop命令加个参数来实现自动建表:

-Doraoop.template.table=TemplateTableName

如果不用这个参数,可以这样:

在HUE中执行如下命令来获取hive表的CREATE TABLE DDL:

show create table ${table_name}

把上面命令的输出拷贝到文本编辑器中,替换数据类型为Oracle数据类型,删掉多余存储信息,就得到oracle建表脚本。再继续通过文本替换把数据类型和空格都去掉,得到不含空格的列名串,这个串在拼装sqoop export命令时要用到,即--columns参数,注意这个参数的值中间不能有空格。

2. Hive表文件路径(用于sqoop export的--export-dir参数)

默认情况下Hive的表的文件路径可以用下面命令先查到hive主目录:

hdfs dfs -ls /user/hive/warehouse

再根

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值