传统架构
微服务架构
参考文章 官方文档
Oracle GoldenGate - Oracle GoldenGatehttps://docs.oracle.com/en/middleware/goldengate/index.html
https://www.cnblogs.com/margiex/p/8078571.html GoldenGate实时投递数据到大数据平台(1)-MongoDB
OGG安装测试
以下使用ogg12.3 for big data介质进行数据投递,下载地址:
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html
ogg for bigdata需要JDK 1.8及以上,安装完成之后,需要设置LD_LIBRARY_PATH环境变量
export LD_LIBRARY_PATH=/u01/jdk1.8.0_111/jre/lib/amd64/server
OGG for bigdata解压即可安装,安装完成之后,拷贝安装目录下自带的示例到dirprm目录。
==================================================================================
https://www.cnblogs.com/margiex/p/8124862.html GoldenGate实时投递数据到大数据平台(2)- Cassandra
==================================================================================
https://www.cnblogs.com/margiex/p/8176061.html GoldenGate实时投递数据到大数据平台(3)- Apache Flume
===================================================================================
https://www.cnblogs.com/margiex/p/8192673.html GoldenGate实时投递数据到大数据平台(4)- ElasticSearch 2.x
===================================================================================
GoldenGate实时投递数据到大数据平台(5) - Kafka - margiex - 博客园 GoldenGate实时投递数据到大数据平台(5) - Kafka
==================================================================================
https://www.cnblogs.com/margiex/p/8479957.html GoldenGate实时投递数据到大数据平台(6)– HDFS
==================================================================================
https://www.cnblogs.com/margiex/p/8512974.html GoldenGate实时投递数据到大数据平台(7)– Apache Hbase
==================================================================================
https://www.cnblogs.com/margiex/p/8410865.html 使用GoldenGate初始化的两种方式
==================================================================================
https://www.cnblogs.com/margiex/p/8377494.html 传统OGG与Microservice Architecture OGG的通信
针对当前新出的ogg microservice architect(MA),现在只支持oracle 11g/12c的数据复制和投递。
如果有其它版本的oracle或其它数据库,比如 mysql, db2, sqlserver等,
则只能使用传统的OGG进行抽取或投递。但是你仍然可以在其它版本的OGG与MA架构进行数据通信,比如从其它版本的OGG抽取数据投递到MA的receiver server中
==================================================================================
https://www.cnblogs.com/margiex/p/6184862.html goldengate for big data 12.3发布
主要新增特性:
通用JDBC目标端:支持Amazon Redshift & IBM Netezza
Oracle GoldenGate for Big Data 12.3现在支持通用的JDBC目标端,即不使用专用的OGG介质,使用JDBC即可投递Oracle, SQLServer, Amazon Redshift, Netezza,其它提供jdbc接口的数据库也是可以的。jdbc投递的特性包括缓存statement语句,reperror和HANDLECOLLISIONS关键字的支持,也支持源和目标之间元数据(表和字段)变更的基本映射,与其它大数据产品一样,比如hive,支持目标表的创建及表结构变更同步。
支持NoSQL目标端,包括MongoDB & Cassandra
ogg for big data现在支持以数据库原生方式将数据实时写入到mongodb & cassandra。包括insert/update/delete/truncate都支持。其它特性包括批量写入、异步模式、compressedupdates等。
性能提升
ogg for bigdata现在支持Coordinated(协同)交付,即在一个单独的replicat投递进程中允许多个java进程同时投递。这样可以通过多进程投递提升投递性能
==================================================================================
https://www.cnblogs.com/margiex/p/8999245.html 基于Docker的GoldenGate部署
GoldenGate 12.3微服务架构与传统架构的区别 - margiex - 博客园 GoldenGate 12.3微服务架构与传统架构的区别
GoldenGate 12.3 MA架构介绍系列(1) - 安装 - margiex - 博客园 GoldenGate 12.3 MA架构介绍系列(1) - 安装
GoldenGate 12.3 MA架构介绍系列(2) - 数据同步测试 - margiex - 博客园 GoldenGate 12.3 MA架构介绍系列(2) - 数据同步测试
GoldenGate 12.3 MA架构介绍系列(3) - 各功能模块介绍 - margiex - 博客园 GoldenGate 12.3 MA架构介绍系列(3) - 各功能模块介绍
GoldenGate 12.3 MA架构介绍系列(4)–Restful API介绍 - margiex - 博客园 GoldenGate 12.3 MA架构介绍系列(4)–Restful API介绍
GoldenGate 12.3 MA架构介绍系列(5) - 静默安装 - margiex - 博客园 GoldenGate 12.3 MA架构介绍系列(5) - 静默安装
GoldenGate for Java Adapter介绍一(原理篇) - margiex - 博客园 GoldenGate for Java Adapter介绍一(原理篇)
GoldenGate for Java adapter介绍二(代码篇) - margiex - 博客园 GoldenGate for Java adapter介绍二(代码篇)
利用ogg实现oracle到kafka的增量数据实时同步 | 伦少的博客 利用ogg实现oracle到kafka的增量数据实时同步
OGG进程配置_lebron3v的专栏-CSDN博客 OGG进程配置
Oracle GoldenGate概述_苏南生的CSDN博客-CSDN博客 Oracle GoldenGate概述