Oracle GoldenGate(OGG)-Oracle数据库迁移到MySQL数据库(全量+增量)

于 2024-08-22 17:25:34 发布
阅读量512 收藏 9
点赞数 10
分类专栏： Oracle MySQL 文章标签： 数据库 oracle mysql dba linux 迁移学习 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h_3369/article/details/141404753
版权

目录

前言

本案例使用PLSQL导出Oracle表结构的SQL文件，随后通过sqlines将Oracle表结构，转换为MySQL表结构，人工核对后，再使用Oracle GoldenGate(OGG)，进行数据的全量加增量迁移。请注意本次迁移不包括Oracle的存储过程和触发器。只迁移表结构和数据到MySQL。

环境介绍

IP服务
172.22.138.219Oracle：11g
172.22.138.220MySQL：5.7

环境准备

Oracle环境准备

  • 必须是归档模式，否则没有办法增量迁移，如果只做全量可以不开。
  • 开启Force logging，强制记录日志，数据库中的所有操作都必须产生日志，并将该日志信息，写入到redo文件中。
  • ENABLE_GOLDENGATE_REPLICATION=true (11.2.0.4)，11g热replicat进程不支持DBOPTIONS DEFERREFCONST参数，所以需要在oracle打开这个参数。否则ogg会报错。
  • 最小补全日志，可以捕获表中的附加信息，如主键、唯一约束、外键等。
  • 迁移用户的权限建议使用DBA 角色

Oracle环境配置方法

# 下面需要将oracle设置为mount模式进行参数修改，生产环境需要谨慎操作。
SQL> shutdown immediate;
SQL> startup mount;
SQL> alter database archivelog;
SQL> alter database force logging;
SQL> alter database add supplemental log data;
SQL> alter system switch logfile;
SQL> alter system set enable_goldengate_replication=true;
SQL> alter database open;

MySQL环境配置方法

#开启不区分大小写的参数
root # vim /etc/my.cnf
[mysqld]
...
lower-case-table-names = 1
...
#重启mysqld服务
root # systemctl restart mysqld

表结构转换和导入

sqlines表结构转换工具，下载地址：https://gitee.com/opengauss/openGauss-tools-sqlines

备份Oracle表结构为SQL文件

可以通过PLSQL一键导出，也可以编写脚本，通过Oracle的DBMS_METADATA.GET_DDL视图，导出Oracle建表语句，我这里使用PLSQL导出oracle的SQL文件，就不再过多赘述了。
在这里插入图片描述

使用sqlines工具将表结构进行转换

1.安装sqlines工具，并转换oracle表结构。

#解压安装好sqlines工具包，过程就掠过了，安装过程就略过了。-in=这里填写你通过plsql备份的oracle表结构文件。-out这里表示输出文件。
root # sqlines -s=oracle -t=mysql -in=oracle.sql -out=mysql.sql
#调整sqlines输出后的文件，修剪掉多余的信息
sed -i '/PL\/SQL Developer/d' mysql.sql
sed -i '/^spool/d' mysql.sql
sed -i '/^prompt/d' mysql.sql

2.人工检查转换后的表结构，重点关注数据类型，是否合适。
在这里插入图片描述
3.MySQL创建与oracle用户名称一致的库名，字符集要与oracle一致。

MySQL [(none)]> create database test charset gbk;
MySQL [(none)]> source mysql.sql
#检查表与表结构是否无误
MySQL [(none)]> show tables;
MySQL [(none)]> show create table table_name;

安装Oracle GoldenGate(OGG)

OGG版本：
Oracle GoldenGate 12.3.0.1.4 for Oracle on Linux x86-64
Oracle GoldenGate 12.3.0.1.5 for MySQL-compatible DBs on Linux x86-64
OGG下载地址 ：https://www.oracle.com/middleware/technologies/goldengate-downloads.html

Oracle端安装

1.解压安装包，并编辑好应答文件后执行安装程序

oracle # mkdir /opt/oracle/ogg -p
oracle # unzip /opt/oracle/V975837-01.zip
oracle # vim ./fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
...
INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/opt/oracle/ogg
START_MANAGER=false
#执行安装文件（此处不支持相对路径）
oracle # ./fbo_ggs_Linux_x64_shiphome/Disk1/runInstaller -silent -responseFile /opt/oracle/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp

2.添加环境变量到.bash_profile中

oracle # vim /home/oracle/.bash_profile
...
export GG_HOME=/opt/oracle/ogg
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$GG_HOME
export PATH=$ORACLE_HOME:$GG_HOME:$PATH
alias ggsci='cd GG_HOME; ggsci'

#使环境变量生效
oracle # source /home/oracle/.bash_profile

3.测试ogg命令是否正常运行

oracle # ggsci
#OGG中创建相关目录
GGSCI ( oracle ) 1> create subdirs

MySQL端安装

1.解压安装包

mkdir /opt/ogg
unzip V978711-01.zip
tar xf ./ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg

2.进入到解压后的目录测试运行，并创建相关目录

./ggsci
GGSCI ( mysql) 1> create subdirs

创建相关用户

MySQL端

创建同步的用户并进行授权
MySQL [(none)]> grant all on *.* to mysql@'%' identified by 'mysql';

Oracle端

1.创建OGG专属用户，goldengate 用户，并赋予相关权限

SQL> create tablespace goldengate datafile '/data/app/oracle/oradata/ldmpdb/goldengate001.dbf' size 4G;
SQL> create user goldengate identified by goldengate123 default tablespace goldengate;
SQL> grant dba to goldengate;

2.OGG设置免密登陆

oracle # ggsci
GGSCI ( oracle) 1> create subdirs
GGSCI ( oracle) 1> add credentialstore
GGSCI ( oracle) 1> alter credentialstore add user goldengate,password goldengate123
登陆测试：
GGSCI ( oracle) 1> dblogin useridalias goldengate

OGG配置

基本配置中，主要是两套进程：

  • INITIAL LOAD：即全量同步，主要是一个抽取进程和应用进程，将存量数据从原端同步到目标端。
  • CHANGE SYNCHRONIZATION：即增量同步进程，有三个进程，抽取进程（捕获源端数据实时变化日志，并生成 trail 文件，oracle 数据库的话为 oracle 的 redo log 和 archive log）
  • 投递进程（将抽取进程产生的 trail 文件投递到目标端，给应用进程回放），
  • 应用进程（回放投递进程投递过来的日志文件，应用到目标数据库）

参数配置

  • /data/oracle/11.2.0.4，为 ORACLE_HOME 的值
  • orcl，为 Oracle 的 sid 名称
  • ext_ora，抽取进程名称
  • tdpm_ora，投递进程名称
  • rep_ora，应用进程名称
  • /dirdat/sk，抽取文件存放目录及命名规则
  • /Data/tidb/ogg/dirdat/sk ，Replicat 端接收日志的存放目录

源端oracle-OGG配置

1.MGR配置

GGSCI ( oracle) 1> edit param mgr
...
port 9001
DYNAMICPORTLIST 9001-9020
--AUTORESTART ER *,RETRIES 5,WAITMINUTES   7
PURGEOLDEXTRACTS   ./dirdat/*,usecheckpoints, minkeepdays 2
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
ACCESSRULE, PROG *, IPADDR *.*.*.*, ALLOW
#启动mgr进程
GGSCI ( oracle) 1> start mgr

2.Extract 进程配置信息

GGSCI ( oracle) 1> edit param   ext_ora
EXTRACT ext_ora
SETENV   (ORACLE_HOME="/data/oracle/11.2.0.4")
setenv   (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
setenv (ORACLE_SID="orcl")
useridalias goldengate
GETTRUNCATES
REPORTCOUNT EVERY 1 MINUTES, RATE
DISCARDFILE   ./dirrpt/ext_ora.dsc,APPEND,MEGABYTES 1000
WARNLONGTRANS 2h,CHECKINTERVAL 10m
EXTTRAIL ./dirdat/sk
TRANLOGOPTIONS EXCLUDEUSER goldengate
TRANLOGOPTIONS MINEFROMACTIVEDG
DBOPTIONS ALLOWUNUSEDCOLUMN
DYNAMICRESOLUTION
FETCHOPTIONS FETCHPKUPDATECOLS,INCONSISTENTROW ALLOW
getupdatebefores
nocompressdeletes
nocompressupdates
table test.*;

3.创建一个抽取进程

GGSCI (oracle) 3> add extract ext_ora,TRANLOG, begin now
#创建一个抽取进程的数据保存目录，并于新建的抽取进程进行关联
GGSCI (oracle) 4> add ExtTrail ./dirdat/sk, Extract ext_ora,   Megabytes 1024

4.Pump进程配置

GGSCI (oracle) 4> edit param   tdpm_ora
EXTRACT tdpm_ora
RMTHOST 172.22.138.220 MGRPORT 9001,   compress
PASSTHRU
RMTTRAIL /opt/ogg/dirdat/sk
DYNAMICRESOLUTION
--table
table test.*;

5.增加一个传输进程，并于抽取进程的文件进行关联

GGSCI (oracle) 4> add extract tdpm_ora, exttrailsource   ./dirdat/sk
#传输进程推送目录，这里推送的是目标段的目录，需要观察目标端目录是否存在
GGSCI (oracle) 4> add rmttrail /opt/ogg/dirdat/sk,   extract tdpm_ora, megabytes 100

6.配置配置全量抽取进程，oracle端配置

GGSCI (oracle) 4> edit param   init_ora   ldmpdp
extract init_ora
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
setenv (ORACLE_SID="HXYDB")
useridalias goldengate
rmthost 172.22,138,220,mgrport 9001
rmttask replicat,group rnit_ora
table test.*;
添加进程
GGSCI (oracle) 4> add extract init_ora,sourceistable

目标端MySQL-OGG配置

1.MGR 进程配置信息

GGSCI (mysql) 2> edit param mgr
port 9001
DYNAMICPORTLIST 9001-9120
ACCESSRULE, PROG *, IPADDR *.*.*.*,   ALLOW
--AUTORESTART ER *,RETRIES 5,WAITMINUTES   7
PURGEOLDEXTRACTS   ./dirdat/*,usecheckpoints, minkeepdays 10
LAGREPORTHOURS 1
LAGINFOMINUTES 30
LAGCRITICALMINUTES 45
GGSCI (mysql) 2> start mgr

2.Replicat 进程配置信息
Replicat 进程是运行在目标端系统的一个进程，负责读取 Extract 进程提取到的数据（变更的事务或 DDL 变化）并应用到目标数据库MySQL上。

#创建 checkpoint table （该步骤为一次性工作）
GGSCI (mysql) 2> dblogin sourcedb mysql@172.22.138.220:3306   userid mysql password mysql
首先创建出ogg数据库
GGSCI (mysql) 2> add checkpointtable ogg.checkpoint

3.编辑replicat 进程的参数

GGSCI (mysql) 2> edit param rep_ora
replicat rep_ora
targetdb mysql@172.22.138.220:3306 userid mysql password mysql
SQLEXEC "show databases;"
handlecollisions
MAXTRANSOPS 10000
discardfile /opt/ogg/dirrpt/repora.dsc,purge
map test.*,target test.*;
#添加replicat进程
GGSCI (mysql) 2> add replicat rep_ora,exttrail /opt/ogg/dirdat/sk,checkpointtable ogg.checkpoint

4.配置全量应用进程，mysql端配置

GGSCI (mysql) 2> edit param rnit_ora  
replicat rnit_ora
SETENV (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
targetdb mysql@172.22.138.220:3306 userid  mysql password mysql
discardfile /opt/ogg/dirrpt/rnit_ora.dsc,purge
map test.*, target test.*;
#添加进程
GGSCI (mysql) 2> add replicat rnit_ora,specialrun

启动进程顺序(重要)

首先配置好 MGR 进程，抽取进程，投递进程，应用进程，全量抽取进程，全量应用进程。

  • A 时刻” 正常启动抽取进程和投递进程，确保投递进程的投递的远端目录有相关的 trail 文件。
  • B时刻” 启动全量抽取进程，该时刻必须在 “A 时刻” 之后，不然会丢数据；
  • C 时刻” 全量同步完成；
  • D 时刻” 准备启动增量 replicat 进程，为了确保数据不丢失，将 repliact 进程要提前到
  • E 时刻” 和 “A 时刻” 之间的任意时刻，时间重复部分的日志冲突通过使用参数配置 “handlecollisions” 自动处理
#启动抽取和投递进程
start ext_ora
start tdpm_ora
#启动全量抽取进程
start init_ora
#启动增量进程
start rep_ora
#启动全量应用进程
start rnit_ora

相关报错解决方式

启动报错1：2022-10-10T01:24:11.982-0400 ERROR OGG-02801 Oracle GoldenGate Capture for Oracle, ext_ora.prm: Parameter MINEFROMACTIVEDG can only be used when the database is in READ ONLY mode.

解决方式：

  • 去掉ext_ora文件的TRANLOGOPTIONS MINEFROMACTIVEDG参数，此参数只有在数据库只读的情况下才可以使用

启动报错2： ERROR OGG-00529 Oracle GoldenGate Capture for Oracle, ext_ora.prm: DDL Replication is enabled but table goldengate.GGS_DDL_HIST is not found. Please check DDL installation in the database.

解决方式：

  • 是因为开启了ddl include mapped objname参数，去掉ddl include mapped objname参数解决
侯晓阳丶
关注
  • 10
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用OGG实现Oracle到MySQL数据平滑迁移
weixin_42239187的博客
07-10 1万+
本文目录： 一、OGG概述 （一）OGG逻辑架构 二、迁移方案 （一）环境信息 （二）表结构迁移 （三）数据迁移 1.源端OGG配置 （1）Oracle数据库配置 （2）Oracle数据库OGG用户创建 （3）源端OGG 管理进程(MGR)配置 （4）源端OGG 表级补全日志(trandata)配置 （5）源端OGG 抽取进程(extract)配置 （6）源端OGG 传输进程(pump)配置 （7...
XTTS-oracle数据库迁移
05-27
### XTTS-Oracle数据库迁移详解 #### 一、XTTS概念与优势 ##### 1.1 定义 - **Transportable Tablespaces (TTS)**：指能够在不同Oracle数据库之间移动表空间的能力。 - **Cross Platform Transportable ...
mysql数据迁移oracle数据库_如何将MySQL数据库迁移到Oracle数据库
weixin_39826809的博客
01-18 271
Manager进程：需要源端跟目标端同时运行，主要作用是监控管理其它进程，报告错误，分配及清理数据存储空间，发布阈值报告等Extract进程：运行在数据库源端，主要用于捕获数据的变化，负责全量、增量数据的抽取Trails文件：临时存放在磁盘上的数据文件Data Pump进程：运行在数据库源端，属于Extract进程的一个辅助进程，如果不配置Data Pump，Extract进程会将抽取的数据直接发...
使用OGG实现Oracle到MySQL数据迁移
xwk19870212的博客
11-18 1562
使用OGG实现Oracle到MySQL数据迁移
大数据-玩转数据-Oracle GoldenGate（OGG）
s_unbo的博客
03-18 3975
前言 Oracle GoldenGate，简称OGG，是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle GoldenGate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle Gol
Oracle数据迁移MySQL
sinat_36757755的博客
10-12 1万+
现今，Oracle数据迁移MySQL的需求已经越来越普遍，主要的迁移场景大致可以分为三类，第一类是涉及小表以及少量表的一次性迁移，无需进行增量同步，第二类是涉及大表以及多表的一次性迁移，第三类是涉及增量实时同步，而对于数据的迁移方法，常见的方式有使用第三方的同步工具CDC进行Oracle到MySQL的数据迁移、使用开源的同步工具以及应用层面进行迁移同步。
oracle到mysql数据库迁移
weixin_44167712的博客
07-17 185
Kettle7.0实现oracle到mysql数据库迁移（批量全量导入） https://blog.csdn.net/j1231230/article/details/80525922Kettle 增量数据导入（仅支持添加） https://www.cnblogs.com/mq0036/p/9238646.html使用KETTLE从mysql同步增量数据到oracle（单表增量导入） https:...
Oracle GoldenGate（OGG）- 超级详细
热门推荐
erainm
10-30 3万+
1. OGG简介 2. 应用场景 3. 基本原理 4. 基本架构 5. 常用的拓扑结构 6. 支持的环境 7. OGG安装部署 7.1 配置Oracle11gR2数据库 7.2 安装OGG源端 7.3 配置OGG源端 7.4 配置OGG目标端 7.5 OGG测试 8. 初始化业务数据 8.1 安装OGG源端 8.2 配置OGG源端 8.3 配置OGG目标端 8.4 OGG测试
OGG-15051|OGG 同步 Oracle 到 Kafka 时遇到的一个错误
JiekeXu的博客
08-22 2115
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）如需转载请联系授权 |(个人微信 ID：JiekeXu_DBA)大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习 OGG 同步 Oracle 到 Kafka 时遇到的一个错误，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！有时候随着业务的需要，需要将 Oracle...
OGG|利用 OGG 迁移 Oracle11g 到 19C
JiekeXu的博客
06-14 4566
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习利用 OGG 迁移 Oracle11g 到 19c，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！由于篇幅问题，这里拆开来写，上篇 OGG 基础知识可点此查看，本篇正式介绍 OGG 部署以及数...
OGG|Oracle GoldenGate 基础
JiekeXu的博客
06-13 1163
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习利用 OGG 19c 迁移 Oracle11g 到 19c，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！最近在学习 Oracle 数据库的迁移与升级，用到了 OGG 这块知识，故和大家在来学...
Oracle goldengate 数据迁移 从 mysql到mysql 实战.docx
11-04
### Oracle GoldenGate 数据迁移实战：从 MySQL 到 MySQL #### 概述 Oracle GoldenGate (OGG) 是一款强大的数据库复制工具，支持多种数据库平台之间的数据迁移与同步。本实战文档详细介绍了如何利用 OGG 从 MySQL ...
Oracle GoldenGate ogg数据复制技术教程
07-29
1.goldengate概述、复制模式和技术架构.pdf 2.GoldenGate安装和进程讲解.pdf 3.GoldenGate安装和进程讲解-2.pdf 4.GoldanGate单向复制环境的搭建.pdf 5.GoldanGate单向复制环境的搭建-2.pdf 6.配置Goldengate...
Oracle GoldenGate 21.3 ，oracle to oracle and mysql to mysql
12-17
Oracle GoldenGate 21.3 是一款强大的数据复制和实时数据集成工具，支持在Oracle数据库与MySQL数据库之间进行数据同步。在21.3版本中，GoldenGate引入了微服务架构，这使得部署和管理更加灵活，提高了系统的可扩展性...
Oracle数据库数据迁移
09-08
Oracle 数据库数据迁移是指将 Oracle 数据库中的数据从一个系统迁移到另一个系统的过程。这其中可能涉及到多种技术和工具，例如数据备份、数据恢复、数据同步等。 在 Oracle 数据库数据迁移的过程中，一般需要完成...
【达梦数据库】-导入导出过程中get DDL复现过程
weixin_47686079的博客
08-20 286
在处理问题的过程中，客户反馈在达梦数据库中导入导出分区表，get 表的DDL，不会出现表的所有分区信息，ORACLE数据库却会出现所有分区表，事实真的如此吗？
redis常用操作命令
最新发布
diffiii
08-21 125
显示服务器时间 , 时间戳(秒), 微秒数。模糊查询以fine为前缀的key值。模糊查询以ha为后缀的key值。删除指定key，多个用空格隔开。当前数据库key的数量。登录redis客户端。退出redis客户端。
Spring Boot实现简单的Oracle数据库操作
beautiful77moon的博客
08-18 407
使用到的技术：1. Spring Boot：用于简化Spring应用的开发。2. Dynamic DataSource：实现动态多数据源的访问和切换3. Oracle JDBC Driver：与Oracle数据库进行连接和交互。4. Mybatis-Plus：简化SQL映射和数据库访问。其中BaseMapper接口提供了对数据表进行基本操作的功能。5. Lombok：用于简化Java类的开发，自动生成常用的代码，比如getter、setter、构造函数等。
linux安装达梦数据库
HAN_789的博客
08-19 208
如果无法创建dmdba 文件夹，需要进入root用户下 在管理员用户下，这种安装方式一般只用于验证，开发，测试，生产最好还是安装传统的方式安装。在 home/dmdba/dmdbms/bin 目录下执行。（1）将文件上传到 /home/dmdba/ 目录下。（2）加压：tar -xzvf dmdb.tar.gz。进入到root就可以创建dmdba 文件夹了。1、后台启动，一般建议用后台启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值