oracle sqoop 导出_Sqoop将Hive字符串导出到Oracle CLOB

最新推荐文章于 2021-04-30 14:50:18 发布
最新推荐文章于 2021-04-30 14:50:18 发布
阅读量923 收藏
点赞数
文章标签： oracle sqoop 导出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32825955/article/details/112813746
版权
在尝试使用Sqoop将Hive中的STRING数据导出到Oracle的CLOB字段时遇到错误。执行命令后， Sqoop在运行过程中抛出了IOException，提示无法导出数据。错误堆栈显示问题出在AsyncSqlRecordWriter类中，可能原因是ClobRef对象不支持克隆操作，导致数据缓冲失败。
摘要由CSDN通过智能技术生成

我想导出STRING来自Hive的数据到CLOB在Oracle中。Sqoop将Hive字符串导出到Oracle CLOB

命令：

sqoop export -Dsqoop.export.records.per.statement=1 --connect 'jdbc:oracle:thin:@192.168.41.67:1521:orcl' --username ILABUSER --password impetus --table ILABUSER.CDT_ORC_1 --export-dir /user/dev/db/123 --input-fields-terminated-by '\001' --input-null-string '\\N' --input-null-non-string '\\N' -m 2

例外：

Error: java.io.IOException: Can't export data, please check failed map task logs at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at

最低0.47元/天 解锁文章
甜的子木
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop blob mysql_Sqoop处理Clob与Blob字段
weixin_29207439的博客
02-05 631
[Author]: kwuSqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。1、oracle中的测试表[mw_shl_code=bash,true]CREATE TABLET_LOB(A INTEGER,B CLOB,C BLOB)[/mw_shl_code]测试数据[mw_shl_code=sql,t...
sqoop导数据遇到的部分问题
java1440657916的博客
07-25 2888
在导入hive的时候，如果数据库中有blob或者text字段，会报错，解决方案： clob：在将数据由Oracle数据库导入到Hive时，发现带有clob字段的表的数据会错乱，出现一些字段全为NULL的空行。 由于在项目中CLOB字段没有实际的分析用途，因此考虑将CLOB字段去掉。 同时，为了防止CLOB字段产生一些问题，因此将HIVE中CLOB字段禁用，禁用的方式如下： [Hadoop@mast...
hive 将null值替换为0_Sqoop从Hive导出数据到Oracle
weixin_39770226的博客
11-26 1197
近期临时需要把几个Hive表导出到Oracle中，参考了一些网上的文章，很有帮助，但是并不是很顺利，还是踩了些坑，所以再写多一篇，希望能帮助有需要的朋友更快完成任务。首先要说下，因为没有长期或者大量的这种导出任务，所以我并没有花更多时间去做一些更自动化的脚本，Reference [1] 有个批量脚本，可以参考下。Oracle中建表要把Hive的数据往Oracle导，需要Oracle中存在对应的表，...
从Hive导出数据到Oracle数据库--Sqoop
Mask_V的博客
07-23 4060
原文地址：https://blog.csdn.net/waterkong/article/details/78708809 始发与个人博客：https://kongdada.github.io/  实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下：  首先解释一下各行代码： sqoop export # 指定要导入到Oracle的那张表（通常与hive中的表同名） -...
Sqoop处理Clob与Blob字段
weixin_34248487的博客
02-28 1154
[Author]: kwu  Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本。Blob存储二进制文件。遇到这类字段导入hive或者hdfs须要特殊处理。 1、oracle中的測试表 CREATE TABLE T_LOB ( A INTEGER, B CLOB, C BLOB ) ...
Sqoop处理Oracle大字段BLOB
docsz的博客
04-30 747
Sqoop处理Oracle大字段BLOB
Sqoop导Oracle数据到Hive
12-21
本文将详细介绍如何使用Sqoop将Oracle数据库中的数据导入到Hive表中，通过具体的命令行示例，帮助读者理解整个过程。 #### 二、准备工作 在进行数据导入之前，需要确保以下条件已满足： 1. **安装并配置好Oracle...
3、Sqoop导出(HDFS到RMDB-mysql)
05-29
在本文中，我们将深入探讨如何使用Sqoop将数据从HDFS（Hadoop分布式文件系统）导出到MySQL数据库，这属于ETL（提取、转换、加载）过程的一部分。 **一、Sqoop导出介绍** Sqoop提供了三种不同的导出模式来将HDFS中...
Hive_UDF.rar_hive_sqoop
09-24
Sqoop 是一款用于高效导入导出数据的工具，它可以将数据从传统的 RDBMS（如 MySQL、Oracle 等）导入到 HDFS，或者从 HDFS 导出到 RDBMS。在这个压缩包中，可能包含有关如何配置 Sqoop 与 Hive 集成的信息，以便于在...
MySqoop_Sqoop脚本生成_sqoop脚本_
09-30
它提供了命令行接口，允许用户方便地将数据导入到Hadoop的HDFS，或者从HDFS导出到关系型数据库。本篇文章将详细讲解 Sqoop 脚本生成的相关知识，并介绍如何使用可视化工具"MySqoop"来生成Sqoop脚本。 首先，让我们...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在大数据处理中，Sqoop 提供了方便的数据导入和导出功能，它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件，如 Hive。 在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL ...
大数据技术之Hive第3章 Hive数据类型
尚硅谷铁杆粉丝的博客
08-28 206
3.1 基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 ...
大数据开发之Sqoop篇----sqoop export
热门推荐
weixin_39702831的博客
10-31 1万+
sqoop export是指将HDFS上的数据导出到RDBMS上，而在RDBMS上目标表要已经存在了。 输入格式一般是：sqoop export command args / sqoop-export command args 一般的参数(这里我只列出一些我们一定要用的参数，其余的可根据各自的业务场景来挑选)： --connect  用于输入你要连接的数据库url以及相关数据的驱动标示，例如...
HIVE CLOB字段处理
在路上
11-21 1万+
在将数据由oracle数据库导入到Hive时，发现
sqoop 从oracle到hive数据错位，并产生很多null值，clob类型被截取成一小段一小段
小海的专栏
07-24 3965
1、在执行Sqoop从oracle和mysql导数到hive中时，出现hive数据错位，并产生很多null值： 原因是源数据中包含许多'\n'、'\r'、'\01'等字符，表在分割字段和行过程中出现错位； 解决方式：在Sqoop执行中增加属性–hive-drop-import-delims，在导入数据到hive中时，去掉数据中\n,\r和\01这样的字符； --hive-drop-imp
Sqoop使用总结——从大数据集群导出数据export
背离赤道、逆光而行
05-20 470
HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://hadoop000:3306/company \ --username root \ --password root \ --table staff \ --num-mappers 1 \ --export-dir /user/hive/warehouse/staff_hive \ --input-fields-terminated-by "\t" 提示：Mysql中如果
sqoop clob从Oracle导入到hive   回车换行导致记录增多
weixin_33720956的博客
04-20 247
sqoop import --hive-import --hive-overwrite --connect jdbc:oracle:thin:@192.168.92.136:1521:cyporcl --username ODS --password 'od154DS$!(' -m 1 --hive-database ODS --table Q_TRA_DISPUTES...
Hive中的数据类型和文件格式
universe_ant的博客
03-13 6034
Hive支持关系型数据库中的大多数基本数据类型，同时支持关系型数据库中很少出现的3种集合数据类型，下面我们将简短地介绍一下这样做的原因。   其中一个需要考虑的因素就是这些数据类型是如何在文本文件中进行表示的，同时还要考虑文本存储中为了解决各种性能问题以及其他问题有哪些替代方案。和大多数的数据库相比，Hive具有一个独特的功能，那就是其对于数据在文件中的编码方式具有非常大的类活性。大多数的数据库对
sqoop 通过java把hive数据导出到oracle步骤
最新发布
06-01
将Hive数据导出到Oracle的步骤如下： 1.编写Java代码，使用Sqoop API从Hive中读取数据并导出到Oracle中。以下是一个示例代码： ```java import org.apache.sqoop.Sqoop; import org.apache.sqoop.tool.ExportTool; public class HiveToOracle { public static void main(String[] args) { String[] sqoopParams = new String[]{ "--connect", "jdbc:oracle:thin:@//host:port/service_name", "--username", "username", "--password", "password", "--table", "oracle_table", "--export-dir", "hive_table", "--input-fields-terminated-by", "\t", "--input-lines-terminated-by", "\n", "--input-null-string", "\\N", "--input-null-non-string", "\\N", "-m", "1" }; Sqoop.runTool(sqoopParams, new ExportTool()); } } ``` 2.将Java代码编译为可执行的jar文件。 3.在终端中执行以下命令，将编译后的jar文件提交到Hadoop集群中运行： ``` $ hadoop jar /path/to/jar/file.jar HiveToOracle ``` 其中“HiveToOracle”为Java类的名称。 4.等待程序执行完成，即可将Hive数据导出到Oracle中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值