Datax抽取oracle大表问题

最新推荐文章于 2023-10-20 13:15:50 发布
最新推荐文章于 2023-10-20 13:15:50 发布
阅读量1.6k 收藏 2
点赞数
文章标签： sql hive linux 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aline12/article/details/121376427
版权

最近经常用到datax从oracle抽取大表到数仓hive

当表的数据量超过千万 很容易卡住 一直抽不过来

经过测试可以在querysql上加并行抽取

/*+ parallel(n) */  

基于并行查询要启动并行进程、分配任务与系统资源、合并结果集
一般而言主要在如下情况使用parallel
1.表的数据量很大,超过一千万; 
2.数据库主机是多个CPU;
3.系统的当前负载较低;

但这个容易直接把资源占死 导致别人无法抽取业务数据库 需要做测试再正式上线

加州小清新学长
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
记一次datax 打满CPU
xxx
06-01 670
cpu打满
DataX抽取oracle数据到hive，数据量变多
一亿年开发经验
05-19 472
数据抽取工具DataX数据源oracle 数据量 4184500目标表hive 数据量 4184555抽取后多了55条数据。
datax hive抽到oracle
jtpython666的博客
05-12 254
datax hive-oracle { "job": { "jobId": "${jobId}", "jobVersionId": "${jobVersionId}", "executeId": "${executeId}", "serverPort": "${serverPort}", "msg": "${msg}", "setting": { "speed": { "channel": "1" },
datax3.0基于时间离线抽取2亿多行大小为100GB的业务大表
weixin_41561946的博客
06-10 1220
项目背景： 从gbase8a中抽取为业务大表到mysql数据库中，mysql中的业务表多了两个字段，之前的抽取方式是基于rowid，但这张表业务经过了delete方式删除，目前这张表有2亿多的条记录，但rowid达到27亿之多，后面查看该到有时间字段，于是决定通过时间字段按天进行抽取。 系统环境： gbase8a 集群 mysql5.6.46主从 实现步骤 1、查询需要同步的列字段 select group_concat(concat(’"’,column_name,’"’)) from informati
Datax离线数据抽取(Oracle--MySQL)
cny0120的博客
01-29 563
Datax下载地址：https://github.com/alibaba/DataX Datax MySQL读： https://github.com/alibaba/DataX/blo...
3、通过datax同步oracle相关-oracle到hdfs
05-29
3、通过datax同步oracle相关-oracle到hdfs 网址：https://blog.csdn.net/chenwewi520feng/article/details/130508968 介绍oracle的相关同步，oracle同步到hdfs中示例以及验证
DataX-Oracle新增writeMode支持update
最新发布
03-28
DataX-Oracle新增writeMode支持update的两个jar包已经修改好，使用方法可以看https://blog.csdn.net/qq_36802726/article/details/137118015
5、ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle
05-29
5、ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldeng 网址：https://blog.csdn.net/chenwewi520feng/article/details/130509009 介绍常见的ETL工具比较，根据适用场景选择所ETL...
datax抽取数据到hdfs的null值变成''(引号)的问题
02-20
mysql的null值通过datax抽取到hdfs，会变成引号，这不是我们所需要的，所以需要修改一下datax的源码
dataX部署以及常见问题解答
01-18
DataX 部署及常见问题解答 DataX 是一款由阿里巴巴开源的数据同步工具，支持多种数据源之间的数据同步。以下是 DataX 的部署及常见问题解答。 部署方法 DataX 提供了两种部署方式：直接下载 DataX 工具包和下载 ...
Java大数据-DataX从 Oracle 中读取数据存到 MySQL、读取 Oracle 的数据存入 HDFS 中
godkzz的博客
01-04 1767
一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20)); 2.编写 datax 配置文件 [oracle@hadoop102 ~]$ vim /opt/module/datax/job
oracle 视图内容抽取,海量数据切分抽取的实践场景(r11笔记第43天)
weixin_33507838的博客
04-05 367
如果一个大表要抽取数据导出成csv文件，我们有什么策略，如何改进。一、问题背景今天开发的同学找到我，他们需要做一个数据统计分析，需要我提供一些支持，把一个统计库中的大表数据导出成文本提供给他们。这个表有多大呢，数据量有4亿+，而且使用了分库分表的策略，所以看起来这不是一个简单的问题。简单来说就是下面的架构方式，在右侧的目标端存在的都是物化视图，存在12个子集，也就意味着有12个物化视图存在。如何抽...
datax3.0 关于 elasticsearch表的数据抽取
curry01100110的博客
11-19 3068
关于使用datax同步数据最重要的是——作业json的编写 参考案列：datax-elasticsearch/elasticsearchreader.md at master · mario1oreo/datax-elasticsearch · GitHub 但是实际操作还是存在一些差异 es的基本语法： 参考：Elasticsearch基本语法 - 半岛弥情 - 博客园 工作上的实践成功案例：es版本号5.4.1 es_to_tdh json： { "job":{ ...
dataxweb 定时任务卡住，一直在执行第一个任务，后面全部失败。
AllenZhagn5的博客
08-17 445
更换数据库驱动（datax目录下两个地方）以及dataxweb。
大数据平台建设系列之数据调度-datax实现定时数据增量同步
weixin_36723038的博客
06-30 1085
+、crontab # 每5分钟执行一次shell脚本 */5 * * * * /data/datax/sh/syn_product_summary.sh > /dev/null 2>&1 +、sh 脚本 syn_product_summary.sh #!/bin/bash source /etc/profile # 获取服务器当前时间戳 cur_time=$(date +%s) # 数据起始时间设置为5分钟+1分钟前(允许一分钟内的数据重复推送) start_time=$
datax 实时同步oracle,数据源管理 | 基于DataX组件，同步数据和源码分析
weixin_39564151的博客
04-03 1021
本文源码：[GitHub·点这里](https://github.com/cicadasmile/data-manage-parent) || [GitEE·点这里](https://gitee.com/cicadasmile/data-manage-parent)# 一、DataX工具简介## 1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Orac...
datax的工具配置oracle,完全小白级DataX安装配置过程详解
weixin_39921131的博客
04-03 1111
apt-get install openjdk-7-jdkLinux小白，创建和删除文件夹都现问度娘学会的小白，最近被勒令研究一下DataX，当时一脸蒙X，根本木有听过吖，但是领导吩咐了就得办吖，问了一下度娘，发现这玩意还非要在Linux下安装配置，没办法从安装Linux系统开始干...试坑过程中发现相关的资料和介绍有点儿少，所以决定把每一步都记录下来，希望以后可以帮到其他需要的人...第一步：安...
DataX 数据全量，增量同步方案
热门推荐
袭明君的专栏
04-26 2万+
关于DataX 增量更新实现 注：参考来源文章 增量更新总体思路：从目标数据库读取一个最大值的记录，可以是DataTime 或者 RowVersion 类型，然后根据这个最大值对源数据库要同步的表进行过滤，然后再进行同步即可。 由于DataX 支持多种数据库的读写，一种相对简单并且可靠的思路就是： 从csv 文件读取目标数据库上次抽取数据的一个最大值； 动态修改json配置文件（增加过滤条件...
00-开源离线同步工具DataX3.0重磅详解！
JavaEdge全是干货的技术号
10-20 857
在源端和目的端性能都足够的情况下，单个作业一定可以打满网卡。DataX作为一个服务于大数据的ETL工具，除了提供数据快照搬迁功能之外，还提供了丰富数据转换的功能，让数据在传输过程中可以轻松完成数据脱敏，补全，过滤等数据转换功能，另外还提供了自动groovy函数，让用户自定义转换函数。DataX旧版对于部分数据类型(比如时间戳)传输一直存在毫秒阶段等数据失真情况，新版本DataX3.0已经做到支持所有的强数据类型，每一种插件都有自己的数据类型转换策略，让数据可以完整无损的传输到目的端。
datax 抽取oracle数据字段有分隔符
08-02
在DataX抽取Oracle数据时，如果字段中存在分隔符，可以采取以下解决方案。首先，可以修改建表分隔符，使用alter table语句将建表分隔符修改为与导入时的分隔符一致。例如，可以使用以下语句修改建表分隔符： ``` alter table table_name set serdeproperties('field.delim'='\t'); ``` 另外，也可以在建表时直接指定好分隔符，使用create table语句创建表时，通过row format delimited fields terminated by语句指定字段的分隔符。例如： ``` create table table_name( column1 datatype, column2 datatype ) row format delimited fields terminated by '\t'; ``` 此外，还需要注意分区表和无分区表的区别。对于分区表，需要在建表语句中添加partitioned by语句指定分区字段。 另外，如果目标表的存储格式为textfile，默认的列分隔符为\001，默认的行分隔符为\n。如果在Oracle源数据中存在\n作为行分隔符，会导致字段错位和数据量增加。为了解决这个问题，可以将源数据中的\n替换为其他字符，或者在导入时指定行分隔符为其他字符。 最后，如果需要在DataX中指定筛选条件，可以使用MysqlReader，并根据指定的column、table和where条件拼接SQL进行数据抽取。在实际业务场景中，通常会选择同步当天的数据，可以将where条件指定为gmt_create > $bizdate。需要注意的是，不可以将where条件指定为limit 10，因为limit不是SQL的合法where子句。 综上所述，可以通过修改建表分隔符、指定分隔符、替换行分隔符以及指定筛选条件等方式解决DataX抽取Oracle数据字段中存在分隔符的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值