sqoop从HIVE导出元数据到oracle数据库中实例

最新推荐文章于 2023-08-31 14:14:20 发布
最新推荐文章于 2023-08-31 14:14:20 发布
阅读量3.4k 收藏
点赞数
分类专栏： Sqoop 文章标签： sqoop hive oracle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whb123andy/article/details/17067447
版权

1. 首先要在oracle数据库中创建需要导入的目的表，表的字段顺序要和HIVE的源表的字段定义顺序一致。类型相对应。

 例如HIVE中的cfg_moudle_limit的表结构如图




元数据如图：



oracle的目的表结构如图：



2 .sqoop执行导出：




查询导入结果：



我爱大海V5
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop导数据：hive to oracle
weixin_39419040的博客
05-26 1152
利用sqoop 从hive导数据到oracle可以分为两步： —hive导出数据到hdfs insert overwrite directory "/home/hadoop/data/" ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' select {hive表字段} from stg.{hive表名}; ## —hdfs to oracle sqoop export --connect jdbc:
hive 将null值替换为0_Sqoop从Hive导出数据到Oracle
weixin_39770226的博客
11-26 1205
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
sqoop 导出hive数据到orcale
u012447842的博客
12-30 386
模版 sqoop export # 指定要导入到Oracle的那张表（通常与hive中的表同名） --table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库 --connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME # oracle用户账号 --username USERNAME # oracle用户密码 --password PASSWORD # hive表数据文件在hdfs上的路径 --export-
从Hive导出数据到Oracle数据库--Sqoop
左手coding，右手cooking
06-19 860
实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下： 首先解释一下各行代码： sqoop export # 指定要从Hive中导出的表 --table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库 --connect jdbc:oracle:thin:@HOST_IP:DATABASE_NAME # oracle用户账号 -...
Sqoop从Hive导入Oracle
docsz的博客
04-15 1588
1、Sqoop从Hive导入Oracle sqoop export \ --connect "jdbc:oracle:thin:@//IP:1521/orcl" \ --username "root" \ --password "123456" \ --table STG_ZFW_WANGGEXINXI \ --export-dir /user/hive/warehouse/mask_data.db/stg_zfw_wanggexinxi/* \ --columns XM,ZJHM,WANGGE,BUILD
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 内容 使用 操作系统-Ubuntu 20.04.1 LTS（VMware） 后端-Java （JDK 1.8）， Sqoop（v1.4.7） ， Hadoop（v3.3.0） 库-OJDBC（v7），commons-lang-2.6.jar ...
Sqoop导Oracle数据到Hive
12-21
本文将详细介绍如何使用Sqoop将Oracle数据库中的数据导入到Hive表中，通过具体的命令行示例，帮助读者理解整个过程。 #### 二、准备工作 在进行数据导入之前，需要确保以下条件已满足： 1. **安装并配置好Oracle...
sqoop 从 hive 导到mysql遇到的问题.docx
01-12
Sqoop 的核心概念是将数据从一个数据源（如 MySQL）传输到另一个数据源（如 Hive），或者从 Hive 导出数据到 MySQL 等关系数据库管理系统。Sqoop 使用 JDBC 连接器来连接不同类型的数据库，实现数据的传输和映射。 ...
sqoop导入数据到hive中，数据不一致
05-04
Sqoop是一个用于在关系数据库和Hadoop之间传输数据的工具，它可以高效地批量导入和导出数据。而Hive则是基于Hadoop的数据仓库系统，提供了SQL-like查询语言（HQL）来操作存储在HDFS上的大量数据。当使用Sqoop将数据...
hive元数据生成建表语句
01-26
可以从hive元数据生成建表语句的资源。包括表结构、分区等信息
Sqoop（二）：Hive导出数据到Oracle
最新发布
Dreamy_zsy的博客
08-31 1821
Hive导出数据到Oracle及多张表自动化跑数
sqoop导出hive数据到oracle
sdhsdhsdhsdh的专栏
08-31 541
语句： [code="shell"] sqoop export --table tableName -connect jdbc:oracle:thin:@xx.xx.xx.xx:port:xxx --username userNameA --password pwd --export-dir sourceFile --input-fields-terminated-by '\...
基于sqoop将hive数据导入到Oracle中
06-21 3361
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。 ......
Sqoop抽取Hive数据到Oracle
WistWill的博客
05-03 648
使用Sqoop抽取Hive数据到Oracle，报错：Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] at java.sql.Timestamp.valueOf(Timestamp.java:204) at ...这是一个Sqoop时间戳转化方法的格式差异问题：各系统实现的时间戳转换方法中的截断和位数细节上有所差异。1.4问题日志：当导入Oracle时会出现时间转化失败的问题。
MySQL----workbench
weixin_30830327的博客
04-29 123
下载：https://dev.mysql.com/downloads/workbench/ 版本8.0.16 简单使用： 1、创建数据库 创建表 创建表中的字段 对已经创建好的表进行修改 表中的信息 执行SQL语句 导出数据库 转载于:https://www.cnblogs.com/yan...
oracle sqoop 导出_sqoop 三库导入导出写法
weixin_42161450的博客
01-16 92
0 如下所有命令 在命令行应该写成一行 这里是为了读取方便而故意折行写出来1 sqoop mysqlmysql ---> hdfssqoop import --connect jdbc:mysql://172.16.252.227:3306/test --username root --password root --table testzm --columns 'id,name'--...
sqoop数据迁移脚本（导入，导出 mysql,oracle等）
寒夜二十五
04-14 1274
1.oracle导入到hive脚本 /home/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/bin/sqoop import --username admin --password '123456' --connect jdbc:oracle:thin:@192.168.127.1:1521/数据库名 --fields-terminated-by '\001' --null-non-string '\\N' --null-string '\\N' --dele.
我是使用sqoop将hive的数据推到oracle
05-26
2. 在Sqoop命令行中使用以下命令，将Hive表导出到Oracle数据库中： ``` sqoop export \ --connect jdbc:oracle:thin:@//hostname:port/service_name \ --username username \ --password password \ --table ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值