通过sqluldr2从oracle向greenplum迁移数据时遇到 clob字符截断问题

最新推荐文章于 2021-04-04 09:05:15 发布
最新推荐文章于 2021-04-04 09:05:15 发布
阅读量969 收藏 1
点赞数
分类专栏： oracle greenplum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41561946/article/details/107030853
版权

系统环境

源库:oracle
目标库:greenplum
迁移工具：sqluldr2

遇到的问题

1、表中有clob类型的大字段，存储长度为几十万，通过sqluldr2迁移数据时发生截断错误

解决思路

1、对该分两次进行迁移，第一次跳过该列，第二次单独用应用程序来处理CLOB
2、尝试通过datax来实现，目前datax支持的数据库列表中虽然没有greenplum，可以尝试用postgresql的驱动试试。

补充：datax中oracleReader支持的数据类型

在这里插入图片描述
clob类型是转换成string的，string一次性存储不了几十万的数据，所以上面解决思路第2种对于该问题行不通，感觉兴的朋友可以尝试第1种

hello_alldatabase
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sql查询clob字段报错问题
weixin_43355560的博客
01-08 3487
报错： org.springframework.http.converter.HttpMessageNotWritableException: Could not write content: No serializer found for class oracle.jdbc.driver.OracleClobReader and no properties discovered to creat...
OracleClobToGreenplum 项目介绍
知识的力量
08-13 461
无内容。
Oracle你如何将clob类型读取,oracle实现读取文件，将文件用clob类型存入数据库
weixin_42517807的博客
04-04 699
create or replace function getClobDocument(filename in varchar2, charset in varchar2 default NULL)return CLOB deterministicisfile bfile := bfilename('d:/',filename);charContent CLOB := ' ';target...
ORA-01555解决导出含clob字段表报错快照过旧问题
cm_0205的博客
04-09 1211
导出含clob字段的表数据，报快照过旧，无法导出 该问题是因为含clob字段表数据过大导致，需要修改数据库闪回参数解决 查看undo表空间大小是否足够，undo_retention参数是否设置太小，一般跟undo空间无关，只...
ORACLE 快速导出工具sqluldr2
08-20
ORACLE 快速导出工具sqluldr2，同时支持linux，Windows，32位，64位环境。解压后再命令行直接调用。
oracle数据同步到Greenplum的python脚本
08-31
5、特殊字符处理：删除：'\u0000'，'"',oracle数据回车符：'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件，方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同...
oracle与greenplum数据交互.docx
09-14
Oracle与Greenplum数据交互
Oracle向Greenplum移植
10-25
oracle向greenplum移植时候的关注点
Greenplum初探-数据哈希分布与集群扩容
02-24
Greenplum（GP）是分布式数据库，因此，数据的分布是基础。GP提供了多种分布策略：哈希分布、随机分布和复制表。其中，最常用的就是哈希分布。本篇文章我将向大家介绍GP的哈希分布。首先，我们先回顾一下上篇文章...
Greenplum数据仓库设计规范1
最新发布
08-04
《Greenplum数据仓库设计规范1》 在大数据领域，数据仓库是不可或缺的一部分，它用于存储、管理和分析大量结构化数据。Greenplum作为一个高效、可扩展的数据仓库平台，其设计规范至关重要，确保了数据的一致性、...
sqluldr2，已经封装好sqlplus，附带详细使用说明，只适用于Linux
11-05
sqluldr2，已经封装好sqlplus，附带详细使用说明，只适用于Linux。 文件清单： sqluldr2\genezi sqluldr2\glogin.sql sqluldr2\libclntsh.so.10.1 sqluldr2\libnnz10.so sqluldr2\libocci.so.10.1 sqluldr2\libociei.so sqluldr2\libsqlplus.so sqluldr2\libsqlplusic.so sqluldr2\sqlplus sqluldr2\sqluldr2.sh sqluldr2\sqluldr2_linux64_10204.bin sqluldr2\tnsnames.ora sqluldr2\使用说明.txt
sqluldr2快速导出数据工具程序+oci.dll+使用说明
04-11
sqluldr2快速导出数据工具程序+dll+使用说明案例，同时包含windows版本和linux版本程序，如不能使用，只需放在oracleclient的安装目录下即可，如D:\PLSQL\instantclient_11_2
sqluldr2超详细使用教程-loracle数据导出工具及方法.pdf
06-04
oracle数据导出高效工具,详细介绍了sqluldr2的使用方法和各个参数的含义.
ORACLE导出工具
10-25
ORACLE导出工具,可以将oracle数据库进行导出操作!
sqluldr2导出过blob字段_sqluldr2导出数据没有文件也没有报错
weixin_39968724的博客
01-11 609
1.描述系统升级之后，工程正常启动，windows在cmd中执行sqluldr2.exe能够执行，但是无法正常导出文件。2.解决因为是远程导出，本地服务器上没有安装oracle服务，在将sqluldr2解压启动时会报错没有文件oci.dll，于是我就去拷了一个这个文件到sqluldr2目录下，能正常启动了但是无法导出文件，然后继续排查问题------------------------------...
sqlldr加载clob类型遇到的问题
cp26520的博客
06-09 568
当使用sqlldr加载很长的字符串(超过4000)到表中的clob类型中时,老是报错: 数据文件的字段超出最大长度.查找相关资料后得知,sqlldr每次读入文件中数据流的数据类型默认为CHAR ,长度为 255 .所以只要超过2...
sqlldr导入数据，数据中含有clob（clob数据中含有换行符）
sqlora的专栏
02-08 2576
分两步： 1，打开数据文件，在每条数据结束时加上你想用的结束标志，我这里加的是“||||” 注：1的做法可以在抽数据的时候自己写代码实现。 2，打开CTL文件 （1）指定数据的record换行符 INFILE '*' "str '||||'" 注：'*'表示任意文件，也可写固定文件名，第二个参数就是设定的此文件在导入时的识别符 （2）"CLOB_CLOMN" CHAR(1000000000), 注：CLOB_CLOMN这个是个CLOB字段，CHAR(1000000000)这个是为了设定足..
charset参数 sqluldr2_利用sqluldr2导出数据和sqlldr导入数据的方法
weixin_39946798的博客
12-20 1481
Oracle数据导出工具sqluldr2可以将数据以csv、txt等文件格式导出，适用于大批量数据的导出，导出速度非常快，导出后可以使用OracleSQLLoader工具将数据导入到数据库中。下面将介绍Sqluldr2和sqlldr在Windows平台下的数据处理过程。一、软件下载地址下载完sqluldr解压后，文件夹内容如下：sqluldr2.exe 用于32位windows平台；sqluld...
oracle大数据导入sqlldr与导出sqluldr2
Thankdj
10-31 757
1.导出sqluldr2 oracle数据导出工具sqluldr2——专业大数据导出工具，能够将数据已txt，csv，dbf等格式快速导出，效率比普通导出快70%。 根据查询语句导出 field=0x3a表示以分号进行字段隔开 sqluldr2.exe username/pwd query="select * from table" field=0x3a file="xxx.txt" 如果查询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值