分批次同步数据

最新推荐文章于 2024-08-22 02:04:52 发布
最新推荐文章于 2024-08-22 02:04:52 发布
阅读量653 收藏
点赞数
分类专栏： 数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiubaifeng/article/details/88533913
版权

背景：需要将9亿保单数据同步到hive中，但由于oracle并发限制，一晚上每天只能2亿左右；

解决方法：1. 首先有一个增量同步程序，通过update_date同步每天的增量数据

                   2.初始化历史数据，通过显示update_date的时间范围，将每个月的数据量作为一个批次同步；每晚可以同步很多个批次(设置时间检查：白天时间段禁止同步)

                   3.比对：将初始化的数据和增量数据比对，重复的数据取增量同步的为准，进行入表中；

问题：遇到数据块过时，由于一个开始通过加大并发，一晚上计划同步完，导致9亿的数据在同步时已经拿到的数据块会在sqoop导入时过时，导致无法继续同步；

 

qiubaifeng
关注
专栏目录
1.4 Kettle 数据同步工具详细教程
在路上的专栏
06-23 1729
Kettle，又名 Pentaho Data Integration（PDI），是一个开源的数据集成工具，最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载（ETL）数据，适用于数据仓库建设、数据迁移和数据同步等场景。Kettle（Pentaho Data Integration）是一个功能强大且易于使用的数据集成工具，适用于多种数据处理和集成场景。其图形化界面和丰富的功能使其成为构建数据仓库、进行数据迁移和数据同步的理想选择。
Java 多线程分批同步数据
Lifelong learning
08-12 3448
最近接到一个任务，将mysql中的数据同步到中，要求异步执行，接口不必返回结果，接到请求后后台默默执行就行了。这种情况下其实单线程一页一页去读取写入就可以了，因为不必立刻返回请求结果后台执行5分钟还是十分钟只要能把数据加入到es中就可以了。但是，身为一个优秀的程序员 怎么只能考虑功能的实现不考虑效率问题呢😎😎😎（时间允许的情况下考虑效率对已完成功能的代码做优化），这里就用到了多线程分批导入。注意这里一定要分批，不要所有线程一块去执行 要按批次。.........
分批次批量提交数据
yimeng1994的博客
07-12 830
​ 一个 MapReduce 任务只能包含一次 Map 和一次 Reduce,一个Spark 任务并不止包含一个Map 和 一个Reduce，而是由一系列的Map、Reduce构成。这样，计算的中间结果可以高效地转给下一个计算步 骤，提高算法性能 Spark中最核心的概念是RDD(弹性分布式数据集),分布式数据集可以在不同的并行环境当中被重复使用, MapReduce这些并行计算大都是基于...
批量数据同步
DJYDFT2831djydft的专栏
12-12 228
1、配置： synPageSize：每条线程每次只取100条数据 ips：模拟ips.ips.split(",").length台机器 @Value("${synPageSize:100}") private Integer synPageSize; @Value("${ips:1,2,3,4}") private String ips; 2、controller代码： @SuppressWarnings("unchecked") @GetMapping("/synStuDataToPor
Java：分批查询
欢迎来到 ABin-阿斌的博客：写一生代码，创一世佳话，筑一览芳华。
07-10 290
【代码】Java：分批查询。
【无标题】java多线程分批同步数据设计与实现（转载）
zhudauy的博客
11-12 800
 已识乾坤大，犹怜草木青。          ——旷怡亭口占 文章目录 前言 设计思路 代码实践 前言 最近接到一个任务，将mysql中的数据同步到elasticsearch中，要求异步执行，接口不必返回结果，接到请求后后台默默执行就行了。这种情况下其实单线程一页一页去读取写入就可以了，因为不必立刻返回请求结果后台执行5分钟还是十分钟只要能把数据加入到es中就可以了。 但是，身为一个优秀的程序员 怎么只能考虑功能的实现不考虑效率问题呢😎😎😎（时间允许的情况下考虑效率对
怎么分批次查询数据java后端详细步骤
最新发布
weixin_35084134的博客
08-22 48
我整理的一些关于【数据】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/eDOcp1分批次查询数据的Java后端详细步骤 在现代应用中，尤其是在处理大量数据时，有效地查询和管理数据不仅可以提高应用的性能，还能改善用户体验。当需要处理成千上万条记录时，直接一次性读取所有数据往往...
Kettle增量数据同步,两步搞定
博客GordoHu
03-30 4509
Kettle增量数据同步,两步搞定;
php分批次批量插入数据
Davis_mega的博客
04-28 2310
$sql = $sql_pre = "INSERT INTO term_pv_rev (TermId,impv,rev) VALUES "; $i = 0; foreach ($term as $key => $value){     $i++;     $sql .= "({$key},{$value['impv']},{$value['rev']}), ";     if($i %
springboot+mysql+oracle+druid 双数据库进行数据同步
08-13
流处理允许数据在内存中以较小的批次处理，而不是一次性加载所有数据，这样可以减少对内存的需求。在Java中，`java.util.stream` API可以实现这种处理方式，将数据流从Oracle读取，按需处理并写入到MySQL。 **数据...
分批导入功能——按顺序循环执行异步请求（使用递归）
vvv3171071的博客
07-08 815
工作中遇到的一个需求完成过程： 某页面导入数据超过50条会卡顿，然后产品经理让我限制成只允许导入50条以内的数据，否则报错。 改完发版到正式环境后，用户觉得要把文档拆分成好几个太麻烦了，比如要导入300多条数据，就要把原excel文件拆成7个再一份一份导入，用户体验很差。 于是这次迭代让我解除只允许导入50条的限制，想办法给导入加个进度条，让用户在等待的冗长时间里能感受到导入正在进行。但是问题来了，导入是调的后端接口，只有在开始执行时进入pending状态，然后一直pending到请求成功或失败后才会返回结
分批次插入数据代码
xiaozhou_zi的博客
06-06 1009
如果（DATAS ！= 空&& DATAS 。大小（）> 0 ）{ INT 大小= DATAS 。size （）; int commitCount = baseConstant 。getCountPreCommit （）; int lastIndex = 0 ; for （int i = 0 ; i <= （size / commitCount ）; i ++ ）{ ...
数据同步之全量数据同步（一）
yang5324521的博客
12-20 3556
本文主要介绍源表为单表时，数据全量的情况。当源表为多表时，跟单表的情况差不多。 一、抽取情况说明 将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表A的表结构与目标表A的表结构完全一致。表结构如下图所示： 二、抽取过程 1、单次抽取流程图，如下图所示： 1)、删除目标表A中的所有数据记录。即在目标数据库T下执行下面语句：truncate ...
Java批量数据采用线程池分批同步处理
坐观垂钓者
10-20 2526
第一步：申明线程池 public ExecutorService taskExecutor = new ThreadPoolExecutor(6, Integer.MAX_VALUE, 0, TimeUnit.MILLISECONDS, new SynchronousQueue<Runnable>()); 第二步：分批处理数据 // 每批次数量 Integer batchCount = 100;Integer start = 0; // 结尾 List list=new ArrayLis.
logstash分批次同步大量数据
周振伟的博客
06-10 9416
问题：用logstash同步mysql数据到elasticsearch，原始数据有几千万条，发现过了几十万条之后，到了后面同步就特别慢，无法完成同步原因： statement =&gt; "select * from t_wechat_message where id &gt; :sql_last_value"logstash配置文件中会配置同步时需要执行的sql，sql_last_value是内...
java分批同步数据oom_案例实战 (八) 一个数据同步系统频繁OOM内存溢出的排查实践...
weixin_35648264的博客
02-28 386
案例背景首先说一下案例背景，线上有一个数据同步系统，是专门负责从另外一个系统去同步数据的，简单来说，另外一个系统会不停的发布自己的数据到Kafka中去，然后我们有一个数据同步系统就专门从Kafka里消费数据，接着保存到自己的数据库中去，大概就是这样的一个流程。我们看下图，就是这个系统运行的一个流程。结果就这么一个非常简单的系统，居然时不时就报一个内存溢出的错误，然后就得重启系统，过了一段时间又会再...
平分list，解决数据大的同步，分批同步（list平分n份）
m0_47959499的博客
09-06 350
list平分num份 /** *list平分num份 * @param num 份 * @return */ public static <T> List<List<T>> splitListForNum(List<T> source, int num){ List<List<T>> result=new ArrayList<List<T>>();
java 定时同步分批次处理
09-23
需要注意的是，定时同步分批次处理任务可能会耗费系统资源，如内存和CPU等，所以要根据实际情况合理设计任务的执行周期和每次处理的数据量，以避免对系统性能造成过大的影响。 总之，通过Java的定时任务和调度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值