OGG搭建 实现MySQLtoMySQL数据同步

最新推荐文章于 2024-05-08 13:19:02 发布
最新推荐文章于 2024-05-08 13:19:02 发布
阅读量2.6k 收藏 5
点赞数 3
分类专栏： OGG 文章标签： ogg mysql 同步 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lnws111/article/details/122256428
版权
测试环境SOURCETARGET
操作系统Centos 7Centos 7
IP地址       192.168.216.159192.168.216.158
数据库mysql-5.7.25mysql-5.7.25
GoldenGateOracle GoldenGate 19.1.0.0.3 for MySQL on LinuxOracle GoldenGate 19.1.0.0.3 for MySQL on Linux
同步表abc.dbsabc.dbs

目录

一、MySQL环境搭建

二、Oracle GoldenGate环境搭建

三、配置Oracle GoldenGate

四、数据同步测试

五、进程延迟监控

一、MySQL环境搭建

此次选择编译安装mysql，具体操作步骤如下：

1、前期准备

tar包：mysql-5.7.25.tar.gz、boost_1_59_0.tar.gz
yum安装cmake：yum install -y cmake
添加mysql用户：useradd mysql

2、编译安装

1.解压tar包
tar -xvf mysql-5.7.25.tar.gz -C /tmp
tar -xvf boost_1_59_0.tar.gz -C /tmp
2.在解压后目录下编译
Ⅰcmake -DCMAKE_INSTALL_PREFIX=/data/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock -DDEFAULT_CHARSET=utf8mb4 -DMYSQL_DATADIR=/data/mysql/data -DENABLED_LOCAL_INFILE=1 -DDEFAULT_COLLATION=utf8mb4_general_ci -DWITH_BOOST=/tmp/boost_1_59_0
Ⅱmake -j 16
#此处可根据服务器CPU资源指定16个CPU并行编译，可节省时间
3.安装
make install

3、启动服务

1.赋权
chown -R mysql.mysql /data/mysql
setfacl -m mysql:rwx /data
2.进入到安装目录/data/mysql创建所需目录
mkdir etc binlog relaylog
3.编辑mysql配置文件/data/mysql/etc/my.cnf
内容如下：
[mysqld]
datadir= /data/mysql/data
socket= /data/mysql/mysql.sock
max_connections=2048
lower_case_table_names=1
port            = 3306
skip-external-locking
federated
server-id       = SERVERID
log-bin= /data/mysql/binlog/bin-log
log-bin-index= /data/mysql/binlog/bin-log.index
binlog_format=row
relay-log=/data/mysql/relaylog/relay-log
[client]
port            = 3306
socket          = /data/mysql/mysql.sock
4.将配置文件软链接到/etc下
rm -rf /etc/my.cnf
ln -s /data/mysql/etc/my.cnf /etc/my.cnf
5.数据库初始化：
/data/mysql/bin/mysqld --initialize --user=mysql
#注：该步骤执行后会提示初始密码，首次登陆mysql需要用到
6.启动mysql
/data/mysql/bin/mysqld --user=mysql &

二、Oracle GoldenGate环境搭建

1、作用

       OGG是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库的数据同步。

2、原理

       OGG的工作原理：利用捕捉进程在源系统端读取在线日志或归档日志，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完binlog中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的binlog位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。

①架构

       和传统的逻辑复制一样，Oracle GoldenGate 实现原理是通过抽取源端的redo log或者archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。图1-1 、1-2是Oracle GoldenGate 的技术架构。

         

                                                                       图1-1

   

                                                                        图1-2

 

①进程介绍

Manager进程

       Manager进程是GoldenGate 的控制进程。如果把所有的 Oracle 进程比喻为军队，那么 Manager 就相当于司令。Manager 进程运行在源端和目标端上，它主要有以下几个方面的 作用：启动、监控、重启GoldenGate 的其他进程，报告错误及事件，分配数据存储空间，发布阈值报告等。

       每个源端或者目标端有且只能存在一个 Manager 进程。其运行状态有两种即 RUNNING（正在运行）和STOPPED（已经停止）。

       在Windows 系统上，Manager进程是作为一个服务来启动的，而在类UNIX 系统中， Manager则是一个操作系统进程。

Extract进程

        Extract运行在数据库源端，负责从源端数据表或者日志中捕获数据。在早期的 GoldenGate 版本中，它通常被称为Collect 进程。按照其所处的阶段不同，Extract的作用可以按照时间来划分。

       初始数据装载阶段：在初始数据装载阶段，Extract进程直接从源端的数据表中抽取数据。 同步变化捕获阶段：初始数据同步完成以后，Extract进程负责捕获源端数据的变化（DML和DDL）。

        Extract 进程利用其内在的checkpoint机制，周期性地检查并记录其读写的位置，通常是写入到一个本地的trail文件。这种机制是为了保证如果Extract 进程终止或者操作系统宕机，重新启动 Extract 进程后，GoldenGate能够恢复到以前的状态，从上一个断点处继续往下运行，而不会有任何数据损失。

       Extract进程的状态包括STOPPED（正常停止）、STARTING （正在启动）、RUNNING （正在运行）、ABENDED（Abnomal End 的缩写，表示异常结束）。

Pump进程

       Pump进程运行在数据库源端，其作用非常简单。如果源端使用了本地的trail文件， 那么Pump 进程就会把trail以数据块的形式通过TCP/IP协议发送到目标端，这通常也是推荐的方式。Pump 进程本质是Extract进程的一种特殊形式，如果不使用trail 文件，那么就 是Extract 进程在抽取完数据以后，直接投递到目标端。

       与Pump进程相对应的叫做Server Collector进程，这个进程不需要引起人们的关注， 因为在实际操作过程中无需对其进行任何配置，所以对人们来说它是透明的。它运行在目 标端，其任务就是把 Extract/Pump 投递过来的数据块重新组装成trail 文件。

Trail文件

       为了更有效、更安全地把数据库事务信息从源端投递到目标端，GoldenGate引进trail 文件的概念。前面提到Extract抽取数据以后GoldenGate会将抽取的事务信息转化为一 种GoldenGate 专有格式的文件，然后Pump负责把源端的trail文件投递到目标端，所以源、目标两端都会存在这种文件，源端存放的trail文件叫本地trail文件，目标端存放的trail文件叫远程trail文件。trail文件存在的目的旨在防止单点故障，将事务信息持久化，并且使用checkpoint 机制来记录其读写位置，如果故障发生，则数据可以根据checkpoint 记录 的位置来重传。

Replicat进程

       Replicat进程，通常也把它叫做应用进程。运行在目标端，是数据传递的最后一站， 负责读取目标端trail文件中的内容，并将其解析为 DML或DDL语句，然后应用到目标数据库中。和Extract 进程一样，Replicat也有其内部的checkpoint机制，保证进程重新启动后可以从上次记录的位置开始恢复，而无数据损失的风险。它的运行状态和Extract进程一致，包括STOPPED、STARTING、RUNNING、ABENDED。

总结：共4个进程，分别为Manager、Extract、Pump、Replicat，其中Manager运行在源端及目标端，Extract、Pump分别为抽取及投递进程，运行在数据源端，Replicat运行在目标端负责读取投递的内容并应用到数据库中，其中源端与目标端以trail文件来传递、解析。

2、安装

1.压缩包：191003_ggs_Linux_x64_MySQL_64bit.zip
2.创建OGG目录
mkdir -p /home/ogg/ogg
3.解压缩
unzip 191003_ggs_Linux_x64_MySQL_64bit.zip -d /home/ogg/ogg
#解压缩后会生成tar包，需再次解压tar包
tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /home/ogg/ogg
至此Oracle GoldenGate已安装完成

三、配置Oracle GoldenGate

       配置OGG分为源端及目标端，源端需配置抽取、投递进程（即Extract、Pump进程），目标端需配置Replicat进程。

①源端：

Ⅰmgr进程

1.ggsci进入OGG控制台
2.创建OGG所需目录
GGSCI >create subdirs
#执行后会自动创建目录
#主要目录介绍：
dirchk：存放检查点（Checkpoint）文件
dirdat：存放Trail与Extract文件，以后详述
dirdef：通过DEFGEN工具生成的源或目标的数据定义文件
dirpcs：存放进程状态文件
dirprm：存放参数文件
dirrpt：存放进程报告文件
dirsql：存放SQL脚本文件
dirtmp：当事务所需要的内存超过已分配内存时，缺省存储于此。
3.配置、启动mgr进程
GGSCI >edit param mgr
#添加如下配置
port 9001
autostart er *
autorestart er *
GGSCI >start mgr

Ⅱ extract进程

GGSCI >edit param EXT_TEST
#此处EXT_TEST为进程名
#添加如下配置
EXTRACT ext_test
#进程名
SOURCEDB abc@localhost:3306, USERID root, PASSWORD 123456
#库名@数据库地址:端口 用户名及密码
Setenv (NLS_LANG="AMERICAN_AMERICA.UTF8")
Setenv (MYSQL_HOME="/data/mysql")
TranLogOptions AltLogDest /data/mysql/binlog/bin-log.index
#binlog日志输出地址
GETTRUNCATES
DISCARDROLLOVER ON FRIDAY
DISCARDFILE ./dirrpt/ext_test.dsc , APPEND, MEGABYTES 1024
REPORTCOUNT EVERY 30 MINUTES, RATE
EXTTRAIL ./dirdat/yd
#抽取后的trail文件名
TABLE abc.dbs;
#抽取的库名.表名，其中表名可用*代替，
#注：以分号结尾否则启动报错
#保存后添加并启动进程
GGSCI >ADD EXTTRACT EXT_TEST, TRANLOG, BEGIN NOW
GGSCI >ADD EXTTRAIL ./dirdat/yd , EXTRACT EXT_TEST, MEGABYTES 200
GGSCI >start EXT_TEST
GGSCI >info all
#info all查看进程是否正常启动

Ⅲ pump进程

GGSCI >edit param pump
#pump为进程名
#添加如下配置
extract pump
#进程名
sourcedb abc@127.0.0.1:3306 userid root password 123456
#源端数据库连接方式
rmthost 192.168.216.158,mgrport 9001,compress
#远端即目标端OGG地址及mgr进程端口
rmttrail /home/ogg/ogg/dirdat/mb
#目标端trail文件投递目录
table abc.dbs;
#投递的库名.表名，同样以分号结尾。
#保存后先添加进程，不要启动
GGSCI >add extract pump,exttrailsource /home/ogg/ogg/dirdat/yd
GGSCI >add rmttrail /home/ogg/ogg/dirdat/mb ,extract pump

Ⅳ 创建表的定义文件.def

1.GGSCI >edit param defgen
#添加如下配置
defsfile /home/ogg/ogg/dirdef/gmqdsjsjp.def
#def文件目录
sourcedb abc@127.0.0.1:3306 userid root, password 123456
#源端数据库连接方式
table abc.*;
#需要定义的表
2.在OGG安装目录生成def文件
/home/ogg/ogg defgen paramfile ./dirprm/defgen.prm
3.将生成的gmqdsjsjp.def文件复制到目标端安装目录下dirdef文件夹内
scp gmqdsjsjp.def root@192.168.216.158:/home/ogg/ogg/dirdef

至此源端已配置完毕。

①目标端：

Ⅰmgr进程

1.ggsci进入OGG控制台
2.创建OGG所需目录
GGSCI >create subdirs
#执行后会自动创建目录
#主要目录介绍：
dirchk：存放检查点（Checkpoint）文件
dirdat：存放Trail与Extract文件，以后详述
dirdef：通过DEFGEN工具生成的源或目标的数据定义文件
dirpcs：存放进程状态文件
dirprm：存放参数文件
dirrpt：存放进程报告文件
dirsql：存放SQL脚本文件
dirtmp：当事务所需要的内存超过已分配内存时，缺省存储于此。
3.配置、启动mgr进程
GGSCI >edit param mgr
#添加如下配置
port 9001
autostart er *
autorestart er *
GGSCI >start mgr

Ⅱ 添加checkpoint检查点表

1.登陆源端数据库
GGSCI >dblogin sourcedb abc@192.168.216.159:3306 userid root password 123456
2.添加checkpoint
GGSCI >add checkpointtable abc.checkpoint

Ⅱ 添加Replicat进程

1.修改配置
GGSCI >edit param rep
#rep为进程名
replicat rep
targetdb abc@localhost:3306 userid root password 123456
#需要应用数据的数据库
assumetargetdefs
reperror default,discard
discardfile ./dirrpt/repl.dsc,append,megabytes 50
map abc.dbs, target abc.dbs;
#源端表名及目标端表名
2.添加进程
GGSCI >add replicat rep,exttrail /home/ogg/ogg/dirdat/mb abc.checkpoint
3.启动进程
GGSCI >start rep

至此目标端已配置完毕。

目标端配置完毕后方可启动投递进程pump

四、数据同步测试

目前目标端abc.dbs表无数据

在源端mysql插入数据后可查看是否同步到目标端

插入数据：

验证目标端：

数据已同步，至此已搭建完成。 

五、进程延迟监控

此处编写了进程时间点的监控脚本：

#!/bin/bash
lagatChkpt=`awk 'BEGIN {max = -1} {if ($1+0 > max+0) max=$1} END {print "", max}' lagatChkpt.log | sed 's/ //g'`
timeSinceChkpt=`awk 'BEGIN {max = -1} {if ($1+0 > max+0) max=$1} END {print "", max}' lagatChkpt.log | sed 's/ //g'`
cd /ogg/ogg
glog=`./ggsci << EOF 
info all
exit
EOF`
echo "${glog}" | awk -F: 'NR==14,NR==51 {print $2}' > /tmp/lagatChkpt.log
echo "${glog}" | awk -F: 'NR==14,NR==51 {print $4}' > /tmp/timeSinceChkpt.log
if [[ "$lagatChkpt" -ne 00 ]] || [[ "$timeSinceChkpt" -ne 00 ]];
 then echo "1" 
else echo "0"
fi

#该脚本可crontab添加至定时，并配置相关zabbix告警

薛宝钗拳打镇关西
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于OGG实现MySQL实时同步
IT邦德
11-27 1598
本文详细阐述了基于OGG实现MySQL实时同步全过程
ogg mysql的原理_使用ogg实现oracle到mysql的数据传输
weixin_42131405的博客
01-28 911
​作者介绍梁铭图，新炬网络首席架构师，十多年数据库运维、数据库设计、数据治理以及系统规划建设经验，拥有Oracle OCM、Togaf企业架构师(鉴定级)、IBM CATE等认证，曾获dbaplus年度MVP以及华为云MVP等荣誉，并参与数据资产管理国家标准的编写工作。在数据库运维管理和架构设计、运维体系规划、数据资产管理方面有深入研究。概述Oracle GoldenGate,是由Oracle官方...
ogg的安装以及mysql到mysql的同步处理
Kayleigh520的博客
07-04 1533
这里根据官方文档进行安装。这里不做讲解。有两种方式安装ogg： 选择自己对应的系统，因为我这里是linux系统，所以我选择下载第一个。 这里直接给出下载地址点击即可下载环境介绍，为了节省资源OGG我选择和原库安装在了同一台服务器安装之前，介绍一下ogg的目录用途说明：介绍完成以后，我们首先来配置源库和目标库OGG19C可以使用基于日志的DDL复制，要求添binlog_row_metadata为full模式才可以实现 目标库配置 主备数据库创建同步用户并附权 1.3 OGG配置 在19C的OGG中ogg可
物流项目中Oracle 数据库的使用及OGG是如何同步_oracle ogg数据同步
最新发布
2401_84182636的博客
05-08 1093
​ 针对整个物流项目来说，数据采集属于实时增量采集数据，只要业务数据一旦产生，就立即将业务数据获取，进行ETL转换，存储到存储引擎中（比如Kudu数据库和Es索引等）。使用OGG中间件（框架）实时采集Oracle数据库表的数据，同步到Kafka分布式消息队列中。OGG 是一种基于日志的结构化数据复制软件，它通过获得数据的增删改变化（数据量只有日志的四分之一左右）；​ OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟。
ogg mysql的原理_OGG概念与机制
weixin_39717825的博客
01-28 334
OGG:Oracle Golden Gate??简称为OGG，提供异构环境下的数据的实时捕捉，变换和投递。1.OGG的特点：对生产环境影响较小，因其实时读取交易日志从而实现了用最小的资源占用解决了大交易量数据的实时复制。以交易为单位复制，保证交易的一致性实现了只同步提交的数据。高性能，智能的交易重组和操作合并，使用数据库本地接口访问，并行处理体系,灵活的拓扑结构：支持一对一、一对多、多对一、多对多...
在Windows中 基于Oracle GoldenGate （OGG）进行MySQL->MySQL数据库同步配置（超详细）
qq_42186233的博客
02-28 2983
Oracle GoldenGate Windows平台MySQL-&gt;MySQL单向数据同步，试验环境： 试验环境 源端软件版本 目标端软件版本 操作系统 Windows 10 64位 Windows 10 64位 IP地址 172.16.94.15 172.16.94.37 数据库 mysql-8.0.14 mysql-8.0.13 数据库账号 project p...
ogg基础安装配置
践行见远
07-12 346
测试通过ogg从mysql 8 同步数据至 mysql 5.7同时使用ogg的远程抽取功能，即ogg抽取进程与源端部署在不同的服务器。远程抽取 + 远程应用，省去了投递dat文件这一步。
OGG配置DDL数据同步
04-11
通过ogg DDL 配置，实现源端到目标端数据，表结构，序列等对象的同步。也可以配置指定的对象，如只监控指定的表或其他对象。
Oracle通过LogMiner实现数据同步迁移
12-14
在这种情况下，Oracle提供的LogMiner工具成为一个经济实惠且实用的选择，它允许用户分析重做日志以获取数据库更改信息，从而实现数据同步。 LogMiner的基本原理是解析数据库的redo logs，这些日志记录了所有对...
OGG实现ORACLE数据到大数据平台KFAKF的实时同步到KUDU数据库
11-02
Oracle GoldenGate（OGG）是一种高效的数据复制工具，用于实现数据库之间的实时数据同步。在这个特定的场景中，OGG被用来实现实时地从Oracle RAC（Real Application Clusters）环境中的源数据同步到大数据平台Kafka...
OGG最详细部署文档
10-31
OGG最详细的部署，检测报错，监控，保证OGG做的得来应手
Oracle 19c 19.1.0.4+ogg搭建完美手册
08-13
Oracle 19c 19.1.0.4+ogg搭建完美手册
Oracle OGG安装部署细说：Windows同步到Linux
02-02
Oracle OGG安装部署细说：Windows同步到Linux
OGG_GoldenGate数据迁移三进程Extract / Dump / Relicat（案例）
weixin_34345560的博客
03-04 394
2014-03-04 Created By BaoXinjian 一、摘要 1.OGG是数据同步软件，或者说是逻辑复制软件，其竞争对手有IBM CDC，DELL shareplex，DSG，DDS等等。 2.OGG软件是需要安装在操作系统上的，Oracle DB软件没有自带OGG软件（至少目前是这样的） 3.OGG软件有三大进程（说四大进程也行）： 三大进程：源头抽取进程、源头传...
OGG之MYSQL同步MYSQL
weixin_40086974的博客
07-19 3045
准备 配置环境变量： 添加一个MYSQL_HOME :G:\mysql（MYSQL的安装路径） path中添加两个：G:\mysql\bin; G:\ogg;（ogg的解压路径） Mysql配置（源端和目标端都要操作） 编辑G:\mysql\my.ini [client] port=3306 [mysql] no-beep default-character-set=ut...
ogg mysql的原理_OGG工作原理
weixin_42523720的博客
01-19 184
一.GoldenGate介绍OGG 是一种基于日志的结构化数据复制软件OGG 能够实现大量交易数据的实时捕捉，变换和投递，实现源数据库与目标数据库的数据同步，保持最少10ms的数据延迟二.工作原理三.相关组件1.Manager负责OGG 整体的监控和管理(1).Trail文件的生成和删除(2).定期监控进程，负责进程的启动/停止2.Extract(Capture)(1).从redo 或 archi...
ogg同步mysql数据同步_利用OGG实现Oracle数据库双向同步
weixin_39632471的博客
01-19 590
环境：服务器一(RAC实例一的任意一个节点)IP地址： 10.19.100.91Oracle数据库版本 11.2.0.4Oracle数据库实例名 aegisdbOracle数据库端口 1521待同步数据库schema aegisOGG端口 7809服务器二(RAC实例二的任意一个节点)IP地址： ...
mysql ogg_借助ogg完成oracle到mysql的数据迁移
weixin_34579708的博客
01-18 267
现在有个任务是需要把oracle的数据迁移到mysql，因为就涉及到了几个表，所以我最先想到了使用spool把oracle的数据导成txt文件，然后再load 进去mysql。非常遗憾的是，我的有一个表有110个字段，并且有160万的数据，始终就只能倒进一部分数据，最后由于时间问题，没有继续尝试，然后打算用golden gate完成任务。我们知道golden gate主要就在于几个进程的配置，安装...
用ffmepg实现pcm数据转化成ogg数据
04-20
非常感谢您的提问！这个问题属于技术问题，可以回答。如果您需要实现PCM数据转化成OGG数据，可以使用FFmpeg，具体操作可以通过以下命令完成：ffmpeg -f s16le -ar 44100 -ac 1 -i input.pcm output.ogg。如果您有其他问题欢迎继续问我哦！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值