DataX抽取oracle数据到hive，数据量变多

最新推荐文章于 2024-05-17 10:40:23 发布
最新推荐文章于 2024-05-17 10:40:23 发布
阅读量461 收藏 2
点赞数
文章标签： hive 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42913992/article/details/130764015
版权

现象

数据抽取工具DataX
数据源oracle 数据量 4184500
目标表hive 数据量 4184555
抽取后多了55条数据

原因

目标表存储格式为textfile，textfile默认列分隔符为\001,默认行分隔符为\n
在oracle源数据中本身带有textfile行分隔符\n，所以在遇到源数据中的\n时，就会提前换行，导致字段错位，数据量增加

解决方案

使用列式存储orc存储格式，无需行分隔符，列分隔符指定为\001，经过测试可以解决此问题

微亮之海
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
成功解决DataX从Hive导出Oracle的数据乱码问题！
笑看风云路的博客
08-14 684
大数据与RDBMS之间的数据导入和导出都是企业日常数据处理中常见的一环，该环节一般称为e-t-l即。市面上可用的etl工具和框架很多，如来自于传统数仓和BI圈的, 来自于hadoop生态圈的，抑或使用计算引擎直接编写代码完成etl作业。在这里跟大家分享一次使用datax从hive导出数据到oracle的作业的时候，出现了两边数据的编码集不一致导致的乱码问题，希望对大家遇到相同的问题时有所帮忙。在数据同步、传输过程中，存在用户对于数据传输进行特殊定制化的需求场景，包括裁剪列、转换列等工作，可以借助ETL。
如何使用 datax 拉取 oracle 中的数据到 hive 中？
qq_43368947的博客
07-08 1472
需求 将oracle中的表拉取到hive中 步骤 先在oracle中的某一个库中里创建一张表（我这里的库是TEXT） create table stu( id number(5), name VARCHAR2(20), grade NUMBER(5), score NUMBER(5) ) INSERT INTO STU VALUES(1,'李四',8,100); INSERT INTO STU VALUES(2,'多多',9,115); INSERT INTO STU VALUES(3,'熊安安',7,9
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax hive抽到oracle
jtpython666的博客
05-12 247
datax hive-oracle { "job": { "jobId": "${jobId}", "jobVersionId": "${jobVersionId}", "executeId": "${executeId}", "serverPort": "${serverPort}", "msg": "${msg}", "setting": { "speed": { "channel": "1" },
datax 从oracle导入数据到hive（HDFS高可用配置）
小刘的博客
09-07 1002
使用得就是hdfswriter、oraclereader，这个配置文件就网上一大堆 唯一一个比较那个得点是hdfswriter连接得是高可用hdfs得话，还得加一些操作，借鉴一个博主得帖子 https://blog.csdn.net/weixin_44441757/article/details/118082138 还是很详细了，确实没问题，直接把hdfs.site core.site hive.site文件放到hdfswriter包里面去，完美解决，因为我们是自己的平台，二次开发了的，所以程序里面就
datax导入到hive的数据量翻倍
cclovezbf的博客
03-02 1001
append，写入前不做任何处理，data-ingestion hdfswriter直接使用filename写入，并保证文件名不冲突。按道理来说第二次应该把第一次的数据文件删除，可是别人也没跑完，而且还不在同一个目录。因为hive的数据底层就是文件，有文件就有数据，这中间并没有像mysql这种插入一条数据这种事务关系。就是在这里rename之前 判断目录下是否有文件，有文件就删除！2.在我rename之前我发现突然又有文件了，那我就把自己删了。1.删文件，结果前面的都删完了，那我就不删了呗。
第二章 DataX专题之Oracle入Hive开发样例（方式一 - 基于脚本开发 & 方式二 - 基于DATAX-WEB端配置）
qq_27924553的博客
01-18 1701
使用Datax从Oracle入hive的两种开发方式概述
从datax增量同步数据后，执行hive count统计与实际数据不一致
qq_42396440的博客
05-18 499
执行hive count统计与实际数据不一致
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
yinian_hive_increase:datax从mysql同步数据到hive
04-29
yinian_hive_increase datax从mysql同步数据到hive
3、通过datax同步oracle相关-oracle到hdfs
05-29
3、通过datax同步oracle相关-oracle到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步，oracle同步到hdfs中示例以及验证
使用pyspark模仿sqoop从oracle导数据到hive的主要功能（自动建表，分区导入，增量，解决数据换行符问题）...
weixin_30945039的博客
07-31 487
　　最近公司开始做大数据项目，让我使用sqoop（1.6.4版本）导数据进行数据分析计算，然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟，而其中导数据（增量）就占了4分钟左右，老板给我提供了使用 spark 导数据的思路，学习整理了一个多星期，终于实现了sqoop的主要功能。 　　这里我使用的是pyspark完成的所有操作。 　　 　　条件：hdfs平台，pys...
oracle导出到hive,从Oracle导出数据并导入到Hive
weixin_28304023的博客
04-02 1354
1、配置源和目标的数据连接源(oracle)： 目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。 Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。hadoop-common-2.6.0.jarhive-common-2.1.0.jarhive-jdbc-2.1.0.jarhive-metastore-2.1.0.jar...
DataX从Hive将数据写入Oracle
docsz的博客
04-13 2411
DataX从Hive将数据写入Oracle
第二章 基于dolphinscheduler的Datax组件进行数据迁移之Oracle到hive
qq_27924553的博客
12-13 2212
1、源表 create table T_YYBZB_TGH_BANKINFO ( id NUMBER, bank_id NUMBER, bank_name varchar(200) ); 同步源系统数据，每天一个分区表 2、创建hive目标表 （1）编写建表脚本 create table ods.ods_t_yybzb_tgh_bankinfo_di ( id int, bank_id int, bank_name string ) partitione
DataX和Oracle使用案例
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
03-15 7356
DataX和Oracle使用案例
Datax抽取oracle大表问题
aline12的博客
11-17 1598
最近经常用到datax从oracle抽取大表到数仓hive 当表的数据量超过千万 很容易卡住 一直抽不过来 经过测试可以在querysql上加并行抽取 /*+ parallel(n) */ 基于并行查询要启动并行进程、分配任务与系统资源、合并结果集 一般而言主要在如下情况使用parallel 1.表的数据量很大,超过一千万; 2.数据库主机是多个CPU; 3.系统的当前负载较低; 但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线 ...
Hive的字符串操作
最新发布
早拾碗吧的博客
05-17 303
【代码】Hive的字符串操作。
datax 抽取oracle数据字段有分隔符
08-02
如果在Oracle源数据中存在\n作为行分隔符，会导致字段错位和数据量增加。为了解决这个问题，可以将源数据中的\n替换为其他字符，或者在导入时指定行分隔符为其他字符。 最后，如果需要在DataX中指定筛选条件，可以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值