数据实时同步系统搭建手册-ORACLE

最新推荐文章于 2024-04-18 05:30:39 发布
最新推荐文章于 2024-04-18 05:30:39 发布
阅读量402 收藏 2
点赞数
分类专栏： 达梦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangeoooo/article/details/113987449
版权

1 DMHS 环境需求

管理进程间通信的默认端口 5345；发送和执行子系统之间通信的默认端口 5346；
3) 支持的数据库
当源端为 ORACLE 类型数据库时，目的端支持一下类型数据库：DM6、DM7、DM7 MPP、
Oracle9i、Oracle10g、Oracle11g、Oracle RAC、DB2、MySQL、PostgreSQL、SQL SERVER。

1.2ORACLE 数据类型的支持

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
限制支持：

  1. 不支持 lob 数据的分片更新。
  2. 不支持加密数据的同步。
  3. 对主键的更新，不支持类似 update t set key=key+n 的操作。
  4. 对于使用 SQL 进行同步的对象，不对对象中使用的对象进行映射。
  5. 不支持外部表。
  6. 不支持 Oracle 预留模式对象的同步。
  7. 不支持 Oracle 回收表的同步。

2 DMHS 系统搭建

2.1DMHS ORACLE 源端安装

2.1.1 设置 ORACLE 本地链接库路径

DMHS 在运行时，需要加载本地 ORACLE 动态库 libclntsh.so $ORACLE_HOME/lib 中
当在系统中未找到 libclntsh.so 文件， 但存在 libclntsh.so.的文件，可使
用命令 ln -s libclntsh.so. libclntsh.so 创建一个软链接。

2.1.2 源端 ORACLE RAC 环境准备

  1. ASM 存储
    DMHS 的部署节点必须配置 ASM 服务监听，可直接修
    改$ORACLE_HOME\network\admin\tnsname.ora 文件，添加 ASM 监听
    ASM =
    (
    DESCRIPTION =
    (ADDRESS =(PROTOCOL=TCP)(HOST=***.***.***.***)(PORT=1521))
    (CONNECT_DATA =(SERVER =DEDICATED)(SERVICE_NAME=+ASM))
    )

  2. 操作系统磁盘存储
    当 RAC 的归档文件存放在操作系统磁盘时，对未部署 DMHS 的 RAC 节点，必须配置
    归档文件到部署 DMHS 的文件映射。

2.1.3 DMHS 安装

DMHS 源端安装完成之后，可将目录切换到 DMHS
软件目录，通过命令 ldd libcpt_ora.so(RAC 可通过命令 ldd libcpt_rac.so)，
查看 DMHS 日志执行模块链接是否正常。

2.2 DMHS ORACLE 目的端安装

所以部署 DMHS ORACLE 目的
端的服务器，需要安装 ODBC 驱动及 ORACLE 动态链接库，
ODBC 驱动在安装完 ORACLE 软件之
后，会默认安装，在 UNIX/LINUX 平台中，需认为安装 UNIXODBC。

2.2.1 UNIXODBC 安装

  1. 下载 unixodbc2.3.2 源码 unixODBC-2.3.2.tar.gz。
  2. 解压 unixodbc 源码
    tar -zxvf unixODBC-2.3.2.tar.gz
  3. 进入 unixodbc 源码目录，编译源码
    cd unixodbc-2.3.2
    export CC=gcc
    ./configure --enable-drivers=no --with-iconv-char-enc=GB18030 --enable-gui=no --enable-iconv=yes
    make
    make install
    当服务器系统为 UNIX/LINUX 64bits 时，在./configure 之前需执行
    export CFLAGS="-maix64 -DBUILD_REAL_64_BIT_MODE"
    export OBJECT_MODE=64
  4. 配置 UNIXODBC
    将操作系统当前目录切换到“/usr/local/etc”目录，修改 odbc.ini 和 odbcinst.ini 参数。
    odbc.ini 参数内容如下所示：
    [ORACLE]
    Description = ORACLE ODBC DSN
    Driver = Oracle in OraDb11g_home1
    SERVER = 127.0.0.1
    UID = DMHS
    PWD = DMHS
    Servername = ORCL
    PORT = 1521
    odbcinst.ini 参数内容如下所示：
    [Oracle in OraDb11g_home1]
    Description = ODBC DRIVER FOR ORACLE
    Driver = /u01/app/oracle/product/11.2.0/db_1/lib/libsqora.so.11.1
    Threading = 0
    例如：isql -v ORACLE DMHS DMHS

2.2.2 DMHS 安装

UNIX/LINUX 平台中，DMHS 目的端安装完成之后，可将目录切换到 DMHS
软件目录，通过命令 ldd libdmhs_exec.so，查看 DMHS 日志执行模块链接是
否正常。

3 ORACLE/RAC 数据库环境设置

3.1源端/目的端数据库配置数据库服务网络服务名

/RAC 数据库的网络服务名可通过 ORACLE NCA 工具进行配置，也可直接修改
$ORACLE_HOME\network\admin\tnsname.ora 文件
ORCL =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = 127.0.0.1)(PORT = 1521))
(CONNECT_DATA =
(SERVER = DEDICATED)

sqlplus dmhs/dmhs@ORCL

3.2开启源端数据库的归档及附加日志

开启归档
shutdown immediate
startup mount
alter database archivelog
alter system set db_recovery_file_dest=’’;
alter system set log_archive_dest=‘xxxxx’;
alter database open;
archive log list;

开启最小补充日志
alter database add supplemental log data;
alter database add supplemental log data (all) columns;
select uupplemental_log_data_min,supplemental_log_data_all from v$database;
开启附加日志不需要重启 ORACLE 数据库服务

3.3设置源端/执行端 ORACLE 客户端字符集

当数据库数据包含中文字符时，需将 DMHS 运作所在窗口的 NLS_LANG 设置为对应
的字符集，建议使用 AMERICAN_AMERICA.ZHS16GBK

windows 平台设置客户端字符集：
set NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

UNIX/LINUX 平台设置客户端字符集：
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

3.4源端 DDL 支持

DMHS 支持源端 DDL 的同步。源端 DDL 同步必须满足一下三个条件：

  1. 源端数据库必须允许 DDL 触发器的触发动作，即数据库参数_system_trig_enabled
    为 TRUE 或者未设置
    show parameter “_system_trig_enabled”

  2. 需要在源端数据库以 sys 用户，在 sys 模式下创建 DDL 触发器及 DDL 记录表，详
    细参照 dmhs_ddl.sql 脚本

  3. 需要日志捕获模块对 ddl_mask 进行设置。例如<ddl_mask>op:obj<ddl_mask>。
    ddl_mask 可对同步对象进行过滤

3.5DMHS 数据库用户

DMHS 源端数据库用户，必须具有以下数据库操作权限：
SELECT ON SYS.V_KaTeX parse error: Expected group after '_' at position 26: …SELECT ON SYS.V_̲SESSION
SELECT ON SYS.GV_KaTeX parse error: Expected group after '_' at position 28: …ELECT ON SYS.GV_̲INSTANCE
SELECT ON SYS.GV_KaTeX parse error: Expected group after '_' at position 31: …ELECT ON SYS.GV_̲ARCHIVE
SELECT ON SYS.GV_KaTeX parse error: Expected group after '_' at position 22: …ELECT ON SYS.GV_̲LOGFILE
SELECT ON SYS.DBA_TABLES
SELECT ON SYS.V_ I N S T A N C E S E L E C T O N S Y S . O B J INSTANCE SELECT ON SYS.OBJ INSTANCESELECTONSYS.OBJ
SELECT ON SYS.USER$
SELECT ON SYS.COL$
SELECT ON SYS.DBA_CONS_COLUMNS
SELECT ON SYS.DBA_CONSTRAINTS
SELECT ON SYS.LOB$
SELECT ON SYS.TABPART$
SELECT ON SYS.TAB$
SELECT ON SYS.TABSUBPART$
SELECT ON SYS.TABCOMPART$
EXECUTE ON DBMS_FLASHBACK
LOCK ANY TABLE
SELECT ANY TABLE
DMHS 执行端数据库用户必须具有同步对象的操作权限及操作用户下建表的权限

3.6DMHS 目标库约束/触发器限制

  1. 约束
    DMHS 同步过程中，需将将执行端 ORACLE 表中的外键禁用，否则，在对外键引用表
    进行更新时，可能会引起执行端 ORACLE 数据库操作错误。当目的 ORACLE10g 版本高于
    10.2.0.5 或者 ORACLE11G 版本高于 11.2.0.4 时，可将源端 DMHS 配置参数 constraint 设置
    为 1，来避免外键引起的同步错误。

  2. 触发器
    DMHS 同步过程中，需将将执行端 ORACLE 中的存在 DML 操作的触发器禁用，负责，
    在通过过程中，会对触发器操作的表进行二次操作，导致同步结果错误。当目的 ORACLE10g
    版本高于 10.2.0.5 或者 ORACLE11G 版本高于 11.2.0.4 时，可将源端 DMHS 配置参数 trigger
    设置为 1，来避免外键引起的同步错误。

4 配置 ORACLE/RAC 数据同步

4.1配置 ORACLE/RAC 源端

  1. 创建 DMHS 配置文件 dmhs.hs
    将文件路径切换到 DMHS 工作目录下，创建文件dmhs.hs。

  2. dmhs.hs 文件中添加 xml 文件头及 dmhs 根元素

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
</dmhs>
  1. dmhs 根元素添加 base 元素：
<base>
<lang>ch</lang>
<mgr_port>5345</mgr_port>
<ckpt_interval>45</ckpt_interval>
<siteid>1</siteid>
<version>2.0</version>
</base>
  1. dmhs 根元素添加 cpt 元素及 cpt 元素中添加源端数据库信息：
<cpt>
<db_type>oracle11g</db_type>
<db_server>brcl</db_server>
<db_user>sde</db_user>
<db_pwd>sde</db_pwd>
<ddl_mask>op:obj</ddl_mask>
<arch>
<clear_interval>600</clear_interval>
<clear_flag>0</clear_flag>
</arch>
</cpt>
  1. cpt 元素添加数据发送设置：
<cpt>
......
<send>
<ip>127.0.0.1</ip>
<mgr_port>5345</mgr_port>
<data_port>5346</data_port>
<filter>
<enable>
<item>DMHS.*</item>
</enable>
</filter>
</send>
</cpt>
  1. 当源端数据库使用了 ASM 时，还需要在 cpt 元素中添加 ASM 相关信息：
<cpt>
<db_type>oracle11g</db_type>
<db_server>orcl</db_server>
<db_user>dmhs</db_user>
<db_pwd>dmhs</db_pwd>
<arch>
<clear_interval>600</clear_interval>
<clear_flag>0</clear_flag>
</arch>
<rac>
<rac_type>1</rac_type>
<db_server>orcl</db_server>
<db_user>asm</db_user>
<db_pwd>asm123112</db_pwd>
<nodes>3</nodes>
</rac>
<send>
<ip>127.0.0.1</ip>
<mgr_port>6345</mgr_port>
<data_port>6346</data_port>
<filter>
<enable>
<item>DMHS.*</item>
</enable>
</filter>
</send>
</cpt>
  1. 当源端数据库为 RAC，且归档文件存放在操作系统磁盘时，需在 cpt 中添加文件映
    射：
<cpt>
<db_type>oracle11g</db_type>
<db_server>orcl</db_server>
<db_user>dmhs</db_user>
<db_pwd>dmhs</db_pwd>
<arch>
<clear_interval>600</clear_interval>
<clear_flag>0</clear_flag>
</arch>
<rac>
<rac_type>1</rac_type>
<db_server>orcl</db_server>
<db_user>asm</db_user>
<db_pwd>asm123112</db_pwd>
<nodes>2</nodes>
<dir_replace>
<item>2#/home/oracle/arch2</item>
<item>1#/home/oracle/arch1</item>
</dir_replace>
</rac>
<send>
<ip>127.0.0.1</ip>
<mgr_port>6345</mgr_port>
<data_port>6346</data_port>
<filter>
<enable>
<item>DMHS.*</item>
</enable>
</filter>
</send>
</cpt>

其中 dir_replace 中设置的是 DMHS 可读取的归档目录，除了 DMHS 所在节点的归档目
录为真实目录外，其他的目录为 RAC 其他节点归档目录映射到 DMHS 机器的目录。

一个完整的 DMHS 源端配置文件(dmhs.hs)

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
<base>
<lang>ch</lang>
<mgr_port>5345</mgr_port>
<ckpt_interval>45</ckpt_interval>
<siteid>1</siteid>
<version>2.0</version>
</base>
<cpt>
<db_type>oracle11g</db_type>
<db_server>orcl</db_server>
<db_user>dmhs</db_user>
<db_pwd>dmhs</db_pwd>
<ddl_mask>op:obj</ddl_mask>
<arch>
<clear_interval>600</clear_interval>
<clear_flag>0</clear_flag>
</arch>
<send>
<ip>127.0.0.1</ip>
<mgr_port>6345</mgr_port>
<data_port>6346</data_port>
<filter>
<enable>
<item>DMHS.*</item>
</enable>
</filter>
</send>
</cpt>
</dmhs>

4.2配置 ORACLE/RAC 执行端

  1. dmhs.hs 文件中添加 xml 文件头及 dmhs 根元素
<?xml version="1.0" encoding="GB2312"?>
<dmhs>
</dmhs>
  1. dmhs 根元素添加 base 元素：
<?xml version="1.0" encoding="GB2312"?>
<dmhs>
<base>
<lang>ch</lang>
<mgr_port>6345</mgr_port>
<ckpt_interval>45</ckpt_interval>
<siteid>2</siteid>
<version>2.0</version>
</base>
</dmhs>
  1. dmhs 根元素添加 exec 元素，设置接收及执行端数据库信息：
<exec>
<recv>
<data_port>5346</data_port>
</recv>
<db_type>oracle11g</db_type>
<db_server>orcl</db_server>
<db_user>sde</db_user>
<db_pwd>sde</db_pwd>
<db_port></db_port>
<db_name></db_name>
</exec>

一个完整的 DMHS 执行端配置文件(dmhs.hs)，如下所示：

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
<base>
<lang>ch</lang>
<mgr_port>6345</mgr_port>
<ckpt_interval>45</ckpt_interval>
<siteid>2</siteid>
<version>2.0</version>
</base>
<exec>
<recv>
<data_port>5346</data_port>
</recv>
<db_type>oracle11g</db_type>
<db_server>orcl</db_server>
<db_user>sde</db_user>
<db_pwd>sde</db_pwd>
<db_port></db_port>
<db_name></db_name>
</exec>
</dmhs>

4.3启动 DMHS 进行数据同步

在这里插入图片描述
在这里插入图片描述

yangeoooo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oracle数据库实时同步
06-25
Oracle数据库备份文档，提供实时备份的指导；Oracle工具就可以达成。
rac-centos-oracle 保姆级安装配置手册
07-12
总之，搭建Oracle RAC是一个复杂的过程，涉及到多方面的系统配置和优化。通过遵循官方文档和参考社区经验，可以降低出错率并提高安装成功率。记得在每个步骤后进行测试，确保集群的稳定性和可靠性。
oracle近实时数据同步方案整理
一点见解
07-19 1311
比较闪回版本查询闪回查询FLASHBACK_TRANSACTION_QUERY结合闪回查询基于LogMiner的日志挖掘缺点1.时间范围和undo_retention参数值有关，默认900s，超过这个值查询会报ORA-30052。2.基于单表的查询，并发查询或占用数据库连接。1.单表数据量大查询很慢。2. 基于单表的查询，并发查询或占用数据库连接。1.不适用于容器数据库的只读备库。2.对于操作频繁的数据库查询很慢1.不适用于只读备库。2.必须开最小追加日志。
什么软件可以实时同步oracle备库的数据
weixin_35755188的博客
01-09 1423
有很多软件可以用来实时同步 Oracle 备库的数据。其中一些常用的软件有： Oracle Data Guard：这是 Oracle 自带的一个备库同步工具，可以在 Oracle 数据库中设置主库和备库，并通过 Redo 日志来实现数据的实时同步。 GoldenGate：这是一款由 Oracle 旗下的公司开发的数据库复制工具，可以实现多种数据库之间的实时同步。 SharePlex：这是一款...
Oracle 数据怎么实时同步到 MySQL 亲测干货分享建议收藏_oracle 实时同步数据到mysql
最新发布
m0_55030688的博客
04-18 1260
这段时间负责一个老项目开发的数据库管理工作，这个项目中开发库与测试数据库分离，其中有些系统表数据与基础资料数据经常需要进行同步，相信很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 Oracle 数据实时同步到 MySQL，跟大家分享一下，希望对大家有帮助。Oracle 数据实时同步到 MySQL，目前支持的工具还比较少，一款免费的数据同步工具。
DMHS异构数据库单向同步（Oracle12c-DM8）
weixin_41709724的博客
11-02 640
部署DMHS前的准备 部署目标及软件版本说明 部署目标 使用DMHS实现源库（Oracle12c）到目标库（DM8）单向同步 软件版本说明 源端： Oracle12c DMHS： dmhs_V4.1.48_oracle12_rev102088_rh6_64_veri_20210924.bin 目标端：dm8 DMHS： dmhs_V4.1.39_dm8_rev101315_rh6_64_veri_20210809.bin DMDCI：dm8_20210909_x86_rh6_64_ent_8.1.2.70_
系统间通讯实现数据信息实时同步解决方案
热门推荐
海纳百川的博客
03-24 1万+
        项目开发阶段遇到一个需求，描述大致就是同一个用户在A系统数据库保存的数据信息与在B系统数据库保存的数据信息要保持同步。当A系统用户修改了个人信息，A系统后台在将用户修改后的信息入库的同时也会向B系统发送消息，让B系统后台进行自动数据信息同步。        这个可以根据各企业各自的系统间通讯方式来灵活处理。这里我介绍我运用的处理方式，作为经验总结记录和分享。        深谙sp...
Oracle-Kafka-DMHS安装文档-f
10-11
Oracle-Kafka-DMHS安装文档-f是一份关于DMHS安装文档的指导手册，主要介绍了从头开始搭建Oracle_Kafka_DMHS安装文档达梦数据库同步软件的过程。 描述解释 该文档主要介绍了DMHS同步软件的安装部署过程，涵盖了...
MySQL数据同步配置手册.docx
09-04
MySQL 数据同步配置手册详细介绍了如何在 MySQL 5.7.17 版本中搭建主从集群，确保数据的一致性和高可用性。在MySQL的复制机制中，主要有三种Binlog日志模式：基于SQL复制、基于行复制以及混合模式。基于SQL复制效率...
阿里云ECS环境下CentOS-linux 7.6系统Oracle 19C RAC双节点集群安装部署-优化-维护手册.pdf
12-17
在CentOS 7.6操作系统上搭建这样的环境，首先要确保满足Oracle 19C的软硬件需求。官方推荐的操作系统版本为Linux 7.4及以上，而且透明大页需禁用。在硬件方面，至少需要8核的Intel Xeon E5-2670 v2 CPU，16GB内存，...
Oracle11G DataGuard相同SID物理Standby搭建手册
10-30
Oracle 11g DataGuard是Oracle数据库系统中的一个强大特性，用于实现高可用性和灾难恢复。...在实际操作中，建议参考《Oracle11G DataGuard相同SID物理Standby搭建手册》中的详细指南，以确保成功实施。
oracle实现数据同步
02-14
巧用dblink结合oracle快照实现两台服务器的数据同步 有详细步骤
Oracle------OGG单向实时同步Oracle数据
GTmustang的博客
07-16 1771
经过上述测试，新建表能够在目标端自建并同步成功，而业务库之前已经存在的表未能在目标端自建成功的原因，个人认为是日志问题，因为OGG本身就是监听日志的变化的，同步数据的原理就是自动解析日志在目标端建表并赋予数据，而业务库的表建立已经有很长时间了，日志数据可能早已经被删除，OGG无法找到日志数据进行解析，导致目标端不能自动建表。而停掉所有进程后在源建表并赋予数据，打开所有进程后在目标端能够自动建表并成功同步数据，原因是日志存在还有没被删除，OGG能找到日志进行解析。.........
「数据密集型系统搭建」原理篇｜夯实基础，灵活设计
大摩羯先生
01-06 685
数据建模规范、常识、技巧很多，本章从万事开头难的数据建模开始，剖析下数据选择上有哪些常见设计规则，看看这些约束或经验背后蕴含着哪些出色的项目实践总结，在数据类型的选择上如何进行合理选择和取舍方案的。
oracle 一种简单的数据同步方式
jrn1012的专栏
08-18 6229
在两个应用系统之间
达梦数据库之DM8-DM8数据同步（dmhs）开启同步参数
weixin_42447367的博客
08-22 1035
开启DDL同步参数，有两种方法可以开启，但是只能用其中一种方法开启，否则会出现问题，后面会注明该问题。 第一种： 首先查询数据库系统参数“RLOG_APPEND_SYSTAB_LOGIC”是否开启，该参数启用在日志中记录系统表逻辑操作功能。该参数默认取值为0，即不启用；设置为1时，启用该功能。 使用SQL查询该参数的值： select * from v$dm_ini where para_name=‘RLOG_APPEND_SYSTAB_LOGI’; 调用系统过程，开启RLOG_APPEND_SYSTAB_
数据同步系统
wherwh的专栏
06-09 4484
1      概念l  数据节点一个数据库实例称为一个数据节点，简称节点。数据库不限于关系数据库。 数据同步是在数据节点之间进行。同步是节点表之间的数据的提取，转换，写入过程。数据在节点之间的同步，不要求强一致性，只需要保证最终一致性。 数据节点标识，命名，存储：对每个数据节点，全局唯一dsid编码和唯一的uname,所有数据节点的信息保存在平台t_sys_db表中。dsid仅内部使用，配置等均采...
不同Oracle数据库之间的数据同步
dashao6757的博客
04-19 708
方法一：通过快照来实现 1 创建dblink 2 创建快照 Oracle快照原理及实现总结 Oracle数据库的快照是一个表，它包含有对一个本地或远程数据库上一个或多个表或视图的查询的结果。对于中大型数据库，业务数据库里所有的数据同步到另外一个处理服务器上最佳的选择还是使用SnapShot方式，即快照的方式。 Oracle数据库的快照是一个表，它包含有对一个本地或...
DMHS搭建手册官方文档.pdf
10-14
"DMHS达梦数据实时同步系统搭建手册官方文档，涵盖了DM8作为源端的多种配置场景，如单机、主备、DSC（类似RAC功能）、MPP和TDD模式。该文档面向开发工程师、测试工程师、技术支持工程师和数据库管理员，提供了详细的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值