GoldenGate
文章平均质量分 90
日常工作中的ogg、ogg for bigdata存档
赵延东的一亩三分地
《Oracle数据库专家认证》《华为Bigdata专家认证》《阿里云专家博主》《华为云·云享专家》 《CSDN专家博主》每一个优秀的人都会有一个沉默的时光,那段时间你付出了很多却得不到回报
展开
-
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)
之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。下面是我给大家的生产环境下,如何部署OGG(GoldenGate)12.2及异构实时同步数据(支持DDL)的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!原创 2023-03-08 11:26:56 · 45547 阅读 · 64 评论 -
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中)
本章介绍如何配置xagent远程GUI安装ogg,也可以用来当作xagent远程调用GUI的学习资料,之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。下面是我给大家的生产环境下,如何部署GoldenGate及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!原创 2023-03-05 01:52:11 · 50639 阅读 · 27 评论 -
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)
之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。下面是我给大家的生产环境下,如何部署OGG(GoldenGate)12.2及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!原创 2023-03-05 01:02:28 · 49536 阅读 · 47 评论 -
【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决
最近遇到了这个错误:`OGG-03533:character 'c2 a0' at offset 0 that is not available。导致报错的原因是源端库有业务人员手动用excel往数据库导入数据,源端库字符集:`AMERICAN_AMERICA.AL32UTF8` ,目标库ODS字符集:`AMERICAN_AMERICA.ZHS16GBK`。业务人员导入的数据中包含了全角空格及不间断空格,原创 2023-03-03 17:51:23 · 46670 阅读 · 4 评论 -
【大数据实时数据同步】OGG异构多路映射同步原表&审计表&只存删除数据表实现方案(二)
是完整的OGG异构多路映射同步原表&审计表&只存删除数据表实现方案,是博主将博主和另一位Oracle OCM大牛多年的总结模拟出来的实验,在各大央企国企单位中均有使用!!!源端库可能涉及Oracle、Mysql、达梦、Guassdb库原创 2023-02-02 18:03:42 · 88129 阅读 · 1 评论 -
【大数据实时数据同步】OGG异构多路映射同步原表&审计表&只存删除数据表实现方案(一)
使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。我们采用异构同步,即源端同步过来的表在ODS新增了一个etltime字段,用来记录当前数据变更时间。为了记录数据的事务变更历史记录,我们将数据的变更记录映射同步到一张tab_name_audit表中。为了防止源端业务库误删数据,我们将被删除的数据映射同步到一张tab_name_his表中。原创 2023-02-02 17:56:41 · 88527 阅读 · 1 评论 -
【大数据开发运维解决方案】GoldenGate replicat进程延迟分析步骤
使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台, 我们采用异构同步,即源端同步过来的表在ODS新增了一个etltime字段,用来记录当前数据变更时间。为了记录数据的事务变更历史记录,我们将数据的变更记录映射同步到一张tab_name_audit表中。为了防止源端业务库误删数据,我们将被删除的数据映射同步到一张tab_name_his表中。最近源端库有一批大表做了DML变更,然后发现某个replicat进程一直在延迟,但是数据库整体挺空闲,就怀疑是否卡在某个大表的dml同原创 2019-03-17 21:18:05 · 171158 阅读 · 8 评论 -
【大数据开发运维解决方案】OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)
GoldenGate12C For Bigdata+Kafka:通过OGG将Oracle数据以Json格式同步到Kafka提供给flink流式计算Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台(kafka,hdfs等)进行消费,笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。这里介绍O...原创 2019-03-15 22:20:42 · 180199 阅读 · 20 评论 -
【大数据开发运维解决方案】Ogg For Bigdata 同步Oracle数据到KAFKA(包括初始化历史数据)
OGG同步Oracle数据到KAFKA:OGG初始化进程初始化历史数据在前面曾写过几篇关于OGG同步Oracle等库数据到kafka的文章:OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)但是那都是做测试,没有说实际工作情况下如何将Oracle等库表的历史数据初始化到kafka的方案,网上也很少有提到这方面的内容,现在笔者给出两个方案,第一个比较笨的方案那就是写sh...原创 2019-09-06 17:01:18 · 158814 阅读 · 17 评论 -
【大数据开发运维解决方案】OGG For Bigdata 12按操作类型同步Oracle数据到kafka不同topic
Oracle可以通过OGG for Bigdata将Oracle数据库数据实时增量同步至hadoop平台(kafka,hdfs等)进行消费,笔者搭建这个环境的目的是将Oracle数据库表通过OGG同步到kafka来提供给flink做流计算。具体的实施文档已经在之前的文章中写了,这里只给出连接:OGG实时同步Oracle数据到Kafka实施文档(供flink流式计算)这篇文章主要介绍的是:Or...原创 2019-05-21 16:43:09 · 159747 阅读 · 26 评论 -
【Mysql异构实时同步Oracle】OGG12异构同步mysql到oracle(windows mysql实时同步数据到linux oracle)详细文档
OGG12C异构同步mysql5.5到oracle11.2.0.4(windows mysql实时同步数据到linux oracle)详细文档有一个需求,将一台Windows服务器上的Mysql数据实时同步到Linux下Oracle数据库中,现在笔者有一个安装配置好的Oracle=>Oracle支持DDL的异构同步环境,现在要做的测试是将Windows中的Mysql库表同步到现在已经正常同...原创 2019-04-24 11:08:26 · 162283 阅读 · 8 评论 -
【大数据开发运维解决方案】ogg(GoldenGate)三大进程常用参数
oggCI (ogg1) 22> edit params mgrPORT 7809DYNAMICPORTLIST 7810-7860AUTORESTART ER , RETRIES 3, WAITMINUTES 5PURGEOLDEXTRACTS ./dirdat/pd,参数说明:PORT 7809管理进程的监听端口,默认使7809,当7809不可用时会从DYNAMICPORTLIST定义的列表中选择一个可用的端口,主要用于本地goldengate进程之间的通信DYNAMICPORTL原创 2019-05-02 01:09:42 · 160879 阅读 · 9 评论