oracle全量增量_全量同步+增量同步 ALL模式 数据丢失问题

最新推荐文章于 2022-04-13 12:30:49 发布
最新推荐文章于 2022-04-13 12:30:49 发布
阅读量283 收藏
点赞数
文章标签： oracle全量增量
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39915081/article/details/111536200
版权

同步了一张11966733条数据的表到mysql，用的ALL模式，同步期间oracle库无操作，同步完成进入增量模式后 查mysql那个表记录数为11941943，少了24790条。用CHECK模式运行了下check.log里确实检查出了这些没过去的行。 试了两次都会少几万条，但少的条数不完全一样。全量时看这张表对应的table.log会一直报com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry '6337315' for key 'PRIMARY'

at sun.reflect.GeneratedConstructorAccessor12.newInstance(Unknown Source) ~[na:na]

at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) ~[na:1.7.0_67]

但是报的这些主键也成功写到mysql里了。

PS：

原因可能是联合唯一索引造成的，我把mysql表上这个索引删了，只留了个主键的，数据就没丢了---

但原来oracle表上是有这个索引的，数据肯定没问题，，还没想到为啥多这个索引会导致数据丢失。。

weixin_39915081
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ORACLE 数据全量/增量同步 merge into 方法
valkyrja110的博客
11-08 3758
ORACLE 数据全量/增量同步 merge into 方法一、业务介绍二、创建表三、准备数据四、merge into语法使用介绍1.主要综合学习了其他大佬的内容2.如果想全部插入3.删除数据 一、业务介绍 有old和new两张表，new是每天最新业务数据，old是上一天的业务数据，需要将new表中的数据更新或插入到old的主表中。 二、创建表 --创建第一张表 create table old( id number(10) , name varchar2(20) , age num
oracle全量增量_数据同步：全量与增量
weixin_39890327的博客
12-19 2485
1.背景数据如果保留多份，就会存在一致性问题，就需要同步，同步分为两大类：全量和增量2. 概述数据如果要保留副本，要么同时写(就是多写)，或者进行复制：异步写(即从主数据拷贝到副本)；同时写(多写)，引出一个问题，写多少节点算成功(场景：分布式系统)？全部写成功才算成功，还是写大多数成功算成功，还是写指定几个节点算成功？异步写的话，如果采用异步复制，那么实时性需要考量的话，就需要采用性能优先的架构...
增量数据丢失的原因分析
congbao6525的博客
03-02 257
今天开发的同事找到我，让我帮他们补一部分数据，因为有一个表的数据已经快一个月没有增量数据了，这个需求听起来有些奇怪是不？ 问题的背景是在统计库中存在一个表，供部分应用做统计分析，每天会根据时间生成一条记录，这条记录汇总的数据会...
增量数据丢失的原因分析(三)(r8笔记第91天)
杨建荣的学习笔记
05-06 200
今天开发的同事找到我说，他们发现一个应用今天应该会同步过来一部分数据，但是今天却没有，所以想让我帮忙看看到底是怎么回事。 ...
oracle 过程更新数据丢失,记一次数据库字典丢失并恢复过程
weixin_39644021的博客
04-09 236
工程师到用户现场后发现客户升级 oracle 10g rac 10.2.0.3 到 10.2.0.5失败，crs进程无法正常启动。详细解决步骤如下：(一)、工程师重新升级安装各个节点crs,rac软件(附官方文档加注释)Installing the Oracle Database 10g Patch Set Interactively使用交互安装升级oracle 10.2.0.5补丁To ins...
solr 增量同步问题
ethan的专栏
05-17 1420
今天做solr同步时遇到问题，发现数据值同步了部分字段，先来看下配置增量导入的sql配置： <entity name="course" query="SELECT id,name,picture,description,type,price,hard,update_statue,introduce,original_cos
sqlapi_oracle.rar_SQLAPI_oracle_sqlapi++
09-24
用sqlapi连接oracle数据库,以实现
Kettle增量同步.rar
07-02
Kettle增量同步，里边包含项目文件...初次更新 需要初始化 edp_etl_record表 里面 data_range_fm、data_range_to 字段为 需要抽取数据表中的 min（唯一自动或时间戳），此时表示同步全量，执行完毕后第二次开始同步增量
yugong:阿里巴巴去Oracle数据迁移同步工具(全量+增量,目标支持MySQLDRDS)
04-12
愚公移山语言: 纯java开发定位: 数据库迁移 (目前主要支持oracle / mysql / DRDS)项目介绍整个数据迁移过程，分为两部分：全量迁移增量迁移过程描述：增量数据收集 (创建oracle表的增量物化视图)进行全量复制进行...
springboot+mysql+oracle+druid 双数据库进行数据同步
08-13
主要是数据同步从oracle同步到mysql，数据量为好几十万，采用了流处理的方式同步进行处理，防止出现oom
transferdb:Transferdb支持异步数据库模式转换，全量数据导入，导入和增量数据同步功能（Oracle数据库-> MySQL数据库）
03-19
Transferdb transferdb用于分布式数据库迁移（Oracle数据库-> MySQL数据库），现阶段支持的功能（原transferdb版本被重构）： 支持表结构定义转换 考虑到Oracle分区表特殊且MySQL数据库复杂分区可能不支持，分区表统一认为普通表转换，但是reverse阶段日志中会打印警告【分区表】，若有要求，建议反向之后检查，需手工转换 支持自定义配置表分段类型规则转换（表->模式->内置） 支持规范配置规则转换 支持表索引创建 支持非空约束，外键约束，检查约束等 数据同步【数据同步需要存在主键或者唯一键】 FULL模式【全量数据导入导入】数据同步转换导入要求表中存在主键或唯一键，否则因异常错误退出或手工中断退出，断点续传【替换为】无法替换，数据可能会导致重复【除非手工清理下游重新导入】 ALL模式【全量导出导入+增量数据同步】 增量基于logminer日志
实时处理-ogg实现oracle到kafka的增量数据实时同步
07-16
实时处理-ogg实现oracle到kafka的增量数据实时同步 本文将讲解如何使用 Oracle GoldenGate (ogg) 实现 Oracle 到 Kafka 的增量数据实时同步。下面是实现该功能的相关知识点： 1. Oracle GoldenGate 简介 Oracle ...
MySQL数据库导入或者同步大量数据时数据丢失解决方案
p15097962069的博客
04-22 641
MySQL数据库导入或者同步大量数据时数据丢失解决方案
Oracle补历史数据存储过程,Oracle数据库数据丢失恢复的几种方法总结
weixin_42353061的博客
04-03 333
根据oracle数据库的特点和提供的工具，主要方法有以下几种方法：利用逻辑备份使用import工具丢失数据的表利用物理备份来通过还原数据文件并进行不完全恢复利用dbms_logmnr包从redo log文件中恢复利用flashback特性恢复数据前提为了方便使用方法的介绍，上述恢复方法都将基于以下场景进行：系统管理员在前一天晚上11点用export对数据库做了全库逻辑备份，然后对所有数据文件进行了...
关于读取Oracle数据时间丢失问题
天涯居
01-12 623
这是由于Oracle jdbc驱动程序兼容性引起，必须在连接属性中加入oracle.jdbc.V8Compatible=true
oracle全表增量抽取,每日数据增量抽取问题讨论
weixin_42664597的博客
04-04 490
每日数据增量抽取问题讨论[@more@]咨询各位高人.目前状况是 我单位每天都要产生 一个单品资料的基础表,是所有单品,大约5万条数据,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉了.这个表每天都是通过unix上系统上下载下来.这个表是个基础表,每天所有的交易,都是在这个表基础上的.我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.我...
oracle同步数据adg_Oracle 11g ADG 部署(duplicate)快速参考
weixin_36371906的博客
02-02 805
本文旨在指导客户完成Oracle 11g的ADG部署工作，主库环境已具备，备库环境已安装完成数据库软件。环境：RHEL 6.8 + Oracle 11.2.0.41.确认主库运行在归档模式这里设置归档存放路径为/u01/arch：mkdir /u01/archchown oracle:oinstall /u01/archSQL>archive log listalter system set...
DataX oracle同步mysql(全量和增量)
热门推荐
zhuyu19911016520
04-13 1万+
datax sync oracle to mysql
Oracle到MySQL实时数据同步CloudCanal实战
Kami‘s home
01-06 1556
本文通过 Oracle 到 MySQL 的数据迁移同步案例简要介绍这个源端的能力。链路特点： 结构迁移、全量迁移、增量同步(数据)、数据校验俱全流程全自动化 此文章简要介绍如何快速构建一条长期稳定运行的 Oracle->MySQL 数据链路
ORACLE中全量同步和增量同步的写法
最新发布
06-09
在ORACLE中，全量同步和增量同步的实现方式主要包括以下几种： 1. 增量同步：可以使用ORACLE提供的日志挖掘技术，通过读取数据库的归档日志或在线日志，实现对数据库变化的实时监控和同步。也可以使用ORACLE Data Guard技术，将一个主数据库中的变化同步到一个或多个备用数据库中。此外，还可以使用ORACLE Streams技术，实现异构数据库之间的数据同步。 2. 全量同步：可以使用ORACLE提供的数据泵（Data Pump）技术，将整个数据库或部分数据导出到一个文件，然后再将文件导入到目标数据库中。也可以使用ORACLE GoldenGate技术，实现异构数据库之间的数据同步，支持对整个数据库或部分数据的实时同步。 除了上述技术外，还可以使用PL/SQL编程语言和ORACLE数据库提供的各种API，实现自定义的增量同步和全量同步。例如，可以使用PL/SQL编写触发器（Trigger），实现对指定表的变化进行实时同步；也可以使用ORACLE数据库提供的DBMS_REDEFINITION API，实现对表结构的变化进行同步。 需要注意的是，在进行数据同步时，需要考虑数据的安全性、完整性和一致性等方面的问题，以确保数据同步的质量和效率。同时，根据具体情况，需要选择合适的同步方式和技术，以达到最佳的数据同步效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值