ogg安装实时同步kafka部署

OGG

Oracle GoldenGate软件是一种基于日志的结构化数据复制软件。
GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持秒级的数据延迟。

通常GoldenGate队列文件大小与数据库日志大小的比例为1:4，GoldenGate网络传输压缩比例为1:8，TCP/IP网络传输效率最高为0.7；
以业务高峰期每小时产生50GB数据库日志为例， 同步延迟的带宽要求为：
50 * 1024 (MB/小时) * 8 (每字节8位) / 3600 (秒/小时) / 4 (队列/日志比例) / 8 (传输压缩比例) / 0.7 (网络传输效率) = 5.08 Mbps

• Manager(控制)进程
  用于管理 Extract，Data Pump，Replicat等进程
  在 Extract、Data Pump、Replicat 进程启动之前，Manager 进程必须先要在源端和目标端启动
• Extract(抽取)进程
  可以配置Extract 进程来做 ⒈ 初始数据装载 ⒉ 同步变化捕获保持源数据与其它数据集的同步。可以捕获DML,DDL等数据的变化
• Replicat进程(复制)进程
  运行在目标端的进程，负责读取 Extract 进程提取到的数据（变更的事务或 DDL 变化）并应用到目标数据库
• Collector
  Collector 是运行在目标端的一个后台进程接收从 TCP/IP 网络传输过来的数据库变化，并写到 Trail 文件里，分为动态和静态
• Trails文件
  GoldenGate将捕获到的数据变化临时存放在磁盘上的一系列文件中，这些文件就叫做 Trail 文件
• Data Pumps(投递)进程
  Data Pump 是一个配置在源端的辅助的Extract 机制
  如果配置了 Data Pump，会由 Data Pump将Extract 主进程写好的本地 Trail 文件通过网络发送到目标端的 Remote Trail 文件中

ogg的好处

（1）保证事务一致性
GoldenGate在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为实时查询和事务处理创造了条件。
（2）检查点机制保障数据无丢失
GoldenGate的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程，其检查点记录当前已经抽取日志的位置和写队列文件的位置；对于投递进程，其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate进程故障重启后数据无丢失。
（3）可靠的数据传输机制
GoldenGate用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。

Ogg文件说明

Dirchk: checkpoint存放检查点,存放由extract进程到replicat进程创建的检查点文件
Dirdat: 源端存放为等待被投递的trail文件，目标端存放为等待被replicat的trail文件
Dirdef: date definition 过DEFGEN工具生成的源端或目标端的数据文件
Dirprm: 存放参数文件，修改参数时可直接修改本文件
Dirpcs: process status存放进程状态文件
Dirrpt: report 存放所有进程日志文件
Dirsql: sql script 存放sql脚本文件
Dirtmp: temproary files 临时文件，当事务所需要的内存超过已分配内存时，缺省存储
https://www.cnblogs.com/hmwh/p/8681600.htmlogg详解
https://www.cnblogs.com/VoiceOfDreams/p/8576973.html ogg安装部署
https://dongkelun.com/2018/05/23/oggOracle2Kafka/ ogg安装实时同步kafka部署
https://www.charflower.com/?p=1499 OGG 19Cwin 安装
https://wenku.baidu.com/view/be65e3df02020740bf1e9b23.html ogg命令文档
https://www.askmaclean.com/archives/ogg-%E6%8A%A5%E9%94%99%E4%BF%A1%E6%81%AF%E6%B1%87%E6%80%BBogg_error_messages.html ogg报错信息汇总

Ogg安装部署

归档模式(archivelog)： 可以在线|离线备份数据库，可以是全备份或者是部分备份(单个表空间|数据文件) ；
非归档模式(noarchivelog)： 只能离线备份而且必须备份所有的数据文件，控制文件，日志文件
https://blog.csdn.net/luckgrilwyy/article/details/53333965 oracle归档
https://blog.csdn.net/m0_37814112/article/details/77197476 Force Logging

源端配置

安装jdk

@[root@localhost ~]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

• 配置环境变量

@[root@localhost ~]# vim ~/.bash_profile
export OGG_HOME=/develop/ogg
export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=:$PATH:$JAVA_HOME/bin
export LD_LIBRARY_PATH=/lib:/usr/lib:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64

• 检查数据库状态，查看DB归档状态并打开

@[root@localhost ~]#sqlplus /nolog
conn /as sysdba            //连接登录数据库
SQL> select log_mode,supplemental_log_data_min,force_logging from v$database;