Oralce增量同步方案系列1-方案选型

最新推荐文章于 2024-08-13 06:00:00 发布
最新推荐文章于 2024-08-13 06:00:00 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： Kettle Oracle 文章标签： Kettle 增量抽取 Oralce增量同步方案
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/china_cctv_1/article/details/77853202
版权

前段时间楼主遇到一个新需求,需要对一个已经上线运营多年的Oralce数据库需要做数据同步,俩库的数据结构一致。借着这个机会重拾起N年没写的博客

 一、技术方案的选型

  • Oracle GoldenGate

         oracle原生态同步工具,收费,众多企业级数据同步方案都是这个,该方案是基于oracle日志分析做数据同步相对而言性能最好也最稳定

  • 基于Oracle Logminer日志

         LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图（Oracle8i内置包的一部分）组成，它作为Oracle数据库的一部分来发布是8i产品提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂，主要原因是该工具没有提供任何的图形用户界面（GUI）。

  • Spoon ETL工具

最低0.47元/天 解锁文章
残梦了无痕
关注
专栏目录
Datax和Kettle使用场景的对比
击水三千里的专栏
10-19 1万+
Datax和Kettle的对比 较维度\产品 kettle DataX 设计及架构 适用场景 面向数据仓库建模传统ETL工具 面向数据仓库建模传统ETL工具 使用方式 C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境，线上生产环境没有界面，需要通过日志来调试、debug，效率低，费时费力 DataX是以脚本的方式执行任务的，需要完全吃透源码才可以调用，学习成本高，没有图形开发化界面和监控界面，运维成本相对高。
1、数据同步方案设计
02-10 1231
包括七大部分内容： 一. 传统的数据同步方案及存在的问题 二、大数据时代数据同步方案及存在的问题 三、基于日志同步的优秀开源产品有哪些 四、各大同步开源框架比较 五、为什么需要MQ中间件 六、MQ中间件常用比较 七、最终同步方案选型
利用Logmnr实现Oracle增量订阅
总想试试，万一成了呢？？
03-29 395
查看Oracle归档状态 docker exec -it oracle /bin/bash # 登陆数据库 sqlplus # 查看归档状态 archive log list; 开启Oracle归档 -- 关闭数据库 shutdown immediate; -- 启动数据库至mount状态 startup mount; alter database archivelog; alter database open; archive log list; 开启附加日志 如果未开启附加日志则无法记录增量记
数据同步工具之DataX
最新发布
youziguo的专栏
08-13 759
DataX 是由阿里巴巴开源的一款高效的数据同步工具，广泛用于不同存储系统之间的数据交换。作为一款轻量级的数据集成工具，DataX 能够在多种数据源和数据目标之间进行数据迁移、清洗和同步操作。以下是对 DataX 的详细介绍
DataX踩坑
Kverson
11-18 1501
踩坑一： com.alibaba.fastjson.JSONObject cannot be cast to java.util.List 解决方法 将数据库等表信息不是用List格式表示的
Oralce增量同步方案系列2-Kettle增量模型
canmengwuhen的专栏
09-06 2865
Oralce增量同步方案系列2-Kettle增量模型 Oralce增量同步方案系列1-方案选型 雄赳赳气昂昂,打仗一定是军未动粮草先行。咱们这个也得有粮草,提起精神挽起袖子一起开始吧。 1.思考题 首先咱们抛开ETL工具,自己想想如果咱们自己做该怎么做这件事情? - 从源获取同步表TABLE_A数据 - 从目标库同步表TABLE_A获取数据 - 拿到两张表的数据判断增删改查...
数据同步之采用时间戳的方法进行增量数据同步（三）
yang5324521的博客
12-25 3298
文主要讨论，采用时间戳的方法进行增量抽取时，造成源表和目标表数据不一致的情况的原因进行讨论。再浏览此文时，请大家先阅读数据抽取之采用时间戳的方法进行增量抽取（一）、数据抽取之采用时间戳的方法进行增量抽取（二）这两篇文章。在探讨这个问题时，本文还是继续引用前面的文章的例子。 一、抽取情况说明 将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表...
ElasticSearch实战（四十六）-数据实时同步技术选型
专注基础架构领域
09-22 665
本文中讲的几个技术栈都是基于一个叫做 CDC（Change Data Capture）的理论衍生出出来的，大概可以机翻为 “变动数据捕获”，你可以将它视为和数据库有关的架构设计模式的一种。它的核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入，更新，删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 我们可以把 CDC 认为是数据库事件驱动的一种数据 / 信息分发系统，CDC 主要适用于以下的场景： 1
ORACLE 数据全量/增量同步 merge into 方法
valkyrja110的博客
11-08 3896
ORACLE 数据全量/增量同步 merge into 方法一、业务介绍二、创建表三、准备数据四、merge into语法使用介绍1.主要综合学习了其他大佬的内容2.如果想全部插入3.删除数据 一、业务介绍 有old和new两张表，new是每天最新业务数据，old是上一天的业务数据，需要将new表中的数据更新或插入到old的主表中。 二、创建表 --创建第一张表 create table old( id number(10) , name varchar2(20) , age num
DataX oracle同步mysql(全量和增量)
zhuyu19911016520
04-13 1万+
datax sync oracle to mysql
oracle golden gate 价格,Oracle GoldenGate
weixin_42164534的博客
04-10 833
Oracle GoldenGate 技术原理介绍OracleGoldenGate 软件是一种基于 log(日志)的结构化数据复制软件,它 通过解析源数据库在线 log 或归档 log 获得数据的增、删、改变化,再将这些变 化应用到目标数据库,实现源数据库与目标数据库同步、双活。OracleGoldenGate 软件可以在异构的 IT 基础结构(包括几乎所有常用操作系统平台 和数据库平台)之间实现大...
大数据增量同步实现方案
热门推荐
Skye's blog
10-26 2万+
目前做的项目使用阿里 DataX 作为不同数据源数据同步的实现工具。数据的批量一次性导入比较简单，对于增量数据需要对不同场景设计不同的方案。 会变的数据增量同步
跨数据库同步方案汇总
jnrjian的博客
04-04 1万+
Datax 一般比较适合于全量数据同步，对全量数据同步效率很高（任务可以拆分，并发同步，所以效率高），对于增量数据同步支持的不太好（可以依靠时间戳+定时调度来实现，但是不能做到实时，延迟较大）。 Canal 、databus 等由于是通过日志抓取的方式进行同步，所以对增量同步支持的比较好。 OGG 太贵 一、早期关系型数据库之间的数据同步 二、大数据时代下的数据同步 三、总结 一、早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到My
Mysql设置定时全量同步与增量同步实操
记录在工作学习中遇到的一些问题，我与大家共同进步。
02-27 2631
数据库数据备份是任何业务系统都应考虑到的方面。否则一旦数据库发生误删（或者恶意的删库跑路），那可真是欲哭无泪。我所了解的常见备份方式有两种：全量备份与增量备份。
oracle goldengate的两种用法
weixin_33966095的博客
11-28 214
此文已由作者赵欣授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。自从oracle收购来了goldengate这款产品并以后对它做了一系列改进后，有非常多的用户使用它做数据迁移、etl抽取、复制容灾等等场景。这里还有两个goldengate的另类用法，也是非常实用。1.通过dataguard的备库+goldengate直接格式化输出操作的sql大多数时候我们要检查某些表数据的变...
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
weixin_30677617的博客
08-15 6809
1、 早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。 2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不...
"Oracle CRM 解决方案PPT文档演示模板
Oracle CRM 解决方案PPT文档演示模板提供了一种全面的解决方案，以满足企业对客户关系管理的需求。演示文稿中介绍了CRM的定义以及Oracle CRM 解决方案的内容和产品家族。通过这个PPT文档，用户可以了解到CRM的概念、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值