使用DMHS进行MYSQL的双向同步

最新推荐文章于 2024-06-27 22:14:03 发布
最新推荐文章于 2024-06-27 22:14:03 发布
阅读量468 收藏 1
点赞数
分类专栏： 数据同步 文章标签： mysql 数据库 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43299192/article/details/110946401
版权

一.配置信息：

主机192.168.3.200192.168.3.201
MySQL版本Server version: 5.6.39-log MySQL Community Server (GPL)Server version: 5.6.39-log MySQL Community Server (GPL)
MYSQL_HS目录/mysql_hs/dmhs/SOURCE/mysql_hs/dmhs/DEST
操作系统版本Red Hat Enterprise Linux Server release 6.9 (Santiago)Red Hat Enterprise Linux Server release 6.9 (Santiago)

二.部署前准备（两节点都需要）

1.首先准备两台mysql数据库（如表格所示）
2.设置数据库本地环境变量

[root@oracle ~]# cat /etc/profile|grep LD_LIBRARY_PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
[root@oracle ~]# source  /etc/profile)

3.安装ODBC(2.3.0 两个服务器都需要)
链接：https://pan.baidu.com/s/1KOWhBOTjYkrTVTZAeYnjBw
提取码：obvx
安装步奏如下：
1）安装ODBC

[root@oracle ODBC]# tar -zxvf unixODBC-2.3.0.tar.gz
[root@oracle ODBC]# cd unixODBC-2.3.0
[root@oracle unixODBC-2.3.0]# export CC=gcc
#######当服务器系统为UNIX/LINUX 64bits时，在./configure之前需执行
[root@oracle unixODBC-2.3.0]# export CFLAGS="-maix64 -DBUILD_REAL_64_BIT_MODE"
[root@oracle unixODBC-2.3.0]# export OBJECT_MODE=64
[root@oracle unixODBC-2.3.0]# ./configure --enable-drivers=no --with-iconv-char-enc=GB18030 --enable-gui=no --enable-iconv=yes
[root@oracle unixODBC-2.3.0]# make
[root@oracle unixODBC-2.3.0]# make install

2）查看odbc配置文件

[root@oracle unixODBC-2.3.0]# odbcinst -j   
unixODBC 2.3.0
DRIVERS............: /usr/local/etc/odbcinst.ini
SYSTEM DATA SOURCES: /usr/local/etc/odbc.ini
FILE DATA SOURCES..: /usr/local/etc/ODBCDataSources
USER DATA SOURCES..: /root/.odbc.ini
SQLULEN Size.......: 8
SQLLEN Size........: 8
SQLSETPOSIROW Size.: 8

3）配置ODBC相关配置文件

[root@oracle unixODBC-2.3.0]# cat /usr/local/etc/odbcinst.ini
#Oracle配置源（此处不需要）
[Oracle in OraDb11g_home1]
Description=Oracle ODBC driver for Oracle 11g
Driver=/u01/app/oracle/product/11.2.0.4/db_1/lib/libsqora.so.11.1
Threading=0
UsageCount=2
#mysql配置源
[MySQL ODBC 5.1 Driver]
Driver=/usr/lib64/libmyodbc5.so
UsageCount=2

[root@oracle unixODBC-2.3.0]# cat /usr/local/etc/odbc.ini
#Oracle配置源（此处不需要）
[ORACLE]
Description=ORACLE ODBC DSN
Driver=Oracle in OraDb11g_home1
SERVER=192.168.3.200
UserID=system
Password=oracle
name=oracle
PORT=1521
#mysql配置源
[mysql]
Driver=MySQL ODBC 5.1 Driver
DATABASE=mysql
DESCRIPTION=MYSQL ODBC 5.1 DRIVER
SERVER=127.0.0.1
UID=root
PASSWORD=root

4.安装mysql connect odbc
1）安装包链接如下：
链接：https://pan.baidu.com/s/15fV7FFGq-xGOstqfl_LWjQ
提取码：opwv
2）安装命令

[root@oracle mysql_kit]# rpm -ivh mysql-connector-odbc-5.1.13-1.el6.x86_64.rpm --nodeps --noforce

3）验证通过ODBC是否可以连接数据库

[root@oracle ~]# isql -v mysql root root
+---------------------------------------+
| Connected!                            |
|                                       |
| sql-statement                         |
| help [tablename]                      |
| quit                                  |
|                                       |
+---------------------------------------+
SQL> show databases
SQL> use HSTEST
SQL> show tables

5.修改mysql binlog及binlog format
1）原因分析：
DMHS通过分析MYSQL 数据库的binlog日志来捕获数据库的增量数据，DMHS运行之前，必须将数据库binlog打开，同时将binlog format设置为row模式。修改的参数均涉及数据库初始过程，修改参数后，需重启生效。如需操作，需确认工作环境能停机维护。

2）具体操作过程如下：

[root@oracle ~]# find / -name my.cnf
[root@oracle ~]# vi /usr/my.cnf
log-bin=mysql-bin
binlog_format=row
max_allowed_packet=100M
[root@oracle ~]#  service mysql restart
[root@oracle ~]# mysql -uroot -vroot
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

三.部署DMHS同步软件(两节点都需要操作)

[root@oracle DM_SOFT]# chmod 775 dmhs_V4.0.0_mysql_rev86685_rh6_64_veri_20190709.bin 
[root@oracle DM_SOFT]#./dmhs_V4.0.0_mysql_rev86685_rh6_64_veri_20190709.bin -i
##安装过程根据实际需要进行修改##
[root@oracle DM_SOFT]# cd /mysql_hs/dmhs/
[root@oracle dmhs]# ls
bin  bin2  db  desktop  doc  guard  include  install  jdk  lib  license_en.txt  license.txt  log  samples  scripts  SOURCE  tool
[root@oracle dmhs]#

------------------------------------------------------------------------------备注------------------------------------------------------------------------------
-1-目前HS只能支持满足以下表达式的 SQL的ddl同步：

  • 创建表
  • 修改表
  • 删除表
  • 清空表

-2-同时需要注意主键和约束

  • 1) 约束

DMHS 同步过程中，需将将执行端 MYSQL 表中的外键禁用，否则，在对外键引用表进行更新时，可能会引起执行端 MYSQL数据库操作错误。

  • 2) 触发器

DMHS 同步过程中，需将执行端 MYSQL 中的存在 DML 操作的触发器禁用，否则在同步过程中，会对触发器操作的表进行二次操作，导致同步结果错误。

四.创建配置文件dmhs.hs

1.节点一（192.168.3.201）的配置文件dmhs.hs内容：

<?xml version="1.0" encoding="GB2312" standalone="no"?>
<dmhs>
    <base>
        <lang>ch</lang>
        <mgr_port>6345</mgr_port>
        <ckpt_interval>45</ckpt_interval>
        <siteid>2</siteid>
        <version>2.0</version>
    </base>
    <cpt>
        <name>cpt0</name>
        <db_type>mysql</db_type>
        <db_server>127.0.0.1</db_server>
        <db_user>root</db_user>
        <db_pwd>root</db_pwd>
        <db_port>3306</db_port>
        <db_name>HSTEST</db_name>
        <ddl_mask>op:obj</ddl_mask>
        <arch>
            <clear_flag>0</clear_flag>
            <clear_interval>600</clear_interval>
        </arch>
        <send>
            <ip>192.168.3.200</ip>
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
            <filter>
                <enable>
                    <item>HSTEST.*</item>
                </enable>
            </filter>
        </send>
        <jdbc from_password="root" from_type="mysql" from_url="jdbc:mysql://192.168.3.201:3306/HSTEST" from_user="root" to_password="root" to_type="mysql" to_url="jdbc:mysql://192.168.3.200:3306/HSTEST" to_user="root"/>
    </cpt>
    <exec>
        <recv>
            <mgr_port>6345</mgr_port>
            <data_port>6346</data_port>
        </recv>
        <enable>1</enable>
        <db_type>mysql</db_type>
        <db_server>127.0.0.1</db_server>
        <db_user>root</db_user>
        <db_pwd>root</db_pwd>
        <db_port>3306</db_port>
        <db_name>HSTEST</db_name>
        <level>0</level>
        <exec_policy>2</exec_policy>
    </exec>
</dmhs>

2.节点二（192.168.3.200）的配置文件dmhs.hs内容：

<?xml version="1.0" encoding="GB2312" standalone="no"?>
<dmhs>
    <base>
        <lang>ch</lang>
        <mgr_port>5345</mgr_port>
        <ckpt_interval>45</ckpt_interval>
        <siteid>1</siteid>
        <version>2.0</version>
    </base>
    <cpt>
        <enable>1</enable>
        <name>cpt0</name>
        <db_type>mysql</db_type>
        <db_server>127.0.0.1</db_server>
        <db_user>root</db_user>
        <db_pwd>root</db_pwd>
        <db_port>3306</db_port>
        <db_name>HSTEST</db_name>
        <ddl_mask>op:obj</ddl_mask>
        <arch>
            <clear_flag>0</clear_flag>
            <clear_interval>600</clear_interval>
        </arch>
        <send>
            <ip>192.168.3.201</ip>
            <mgr_port>6345</mgr_port>
            <data_port>6346</data_port>
            <filter>
                <enable>
                    <item>HSTEST.*</item>
                </enable>
            </filter>
        </send>
        <jdbc from_password="root" from_type="mysql" from_url="jdbc:mysql://192.168.3.200:3306/HSTEST" from_user="root" to_password="root" to_type="mysql" to_url="jdbc:mysql://192.168.3.201:3306/HSTEST" to_user="root"/>
    </cpt>
    <exec>
        <recv>
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
        </recv>
        <enable>1</enable>
        <db_type>mysql</db_type>
        <db_server>127.0.0.1</db_server>
        <db_user>root</db_user>
        <db_pwd>root</db_pwd>
        <db_port>3306</db_port>
        <db_name>HSTEST</db_name>
        <level>0</level>
        <exec_policy>2</exec_policy>
    </exec>
</dmhs>

五.初始化装载

1.节点一192.168.3.200，首先连接并启动exec：

connect 192.168.3.200:5345
start exec

2.节点二192.168.3.201，连接并启动exec：

connect 192.168.3.201:6345
start exec

3.节点一192.168.3.200，清lsn号并装载字典：

connect 192.168.3.200:5345
clear exec lsn
copy 0 "sch.name='HSTEST'" DICT|REG

4.节点二192.168.3.201，清lsn号并装载字典：

connect 192.168.3.201:5345
clear exec lsn
copy 0 "sch.name='HSTEST'" DICT|REG

5.节点一192.168.3.200启动cpt

connect 192.168.3.200:5345
start cpt

6.节点二192.168.3.201启动cpt

connect 192.168.3.201:5345
start cpt

六.数据验证

1.在192.168.3.200创建表test1，看192.168.3.201是否存在该表，成功后进行下一步。
2.成功后在192.168.3.201的test1表插入数据，看192.168.3.200是否存在刚插入的这条数据。

Song Junjie
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用DMHS同步mysql5.7
chirs999的博客
08-05 440
使用DMHS同步MYSQL5.7
windows下mysql双向同步备份实现方法
09-11
### Windows 下 MySQL 双向同步备份实现方法 在IT领域中，数据的可靠性和稳定性至关重要。对于需要在多个服务器间保持数据一致性的场景，比如网站同步镜像等应用，采用MySQL双向同步备份策略是一种非常有效的手段。...
DMHS DM8到MySQL双向同步（大小写敏感+非落地）
守仁的博客
05-18 817
文章目录前言前置准备-DM8软件安装（图形）前置准备-MySQL侧软件安装（非图形）双向复制配置MySQL侧配置DM8侧配置启动dmhs_server启动exec加载离线字典加载初始数据启动CPT交叉验证建表插入数据修改数据1修改数据2添加索引添加约束删除表服务注册常见问题输出乱码依赖库缺失附加日志异常DDL同步方式分析模块无法启动无效SCHEMA错误事务反复执行DELETE/UPDATE不同步总结 前言 DMHS是DM对标OGG推出的实时同步工具，目前在生产系统中承担众多数据回流工具的角色，以实现数据库
数据库怎么同步
最新发布
sss899000的博客
06-27 408
数据库怎么同步，有很多方法，看你用什么数据库，如果是Sqlserver,你要数据库同步，那么可以使用自带的订阅发布，也可以使用AlwaysOn，还可以使用触发器，甚至使用第三方工具。 订阅发布应该是不错的方法，但是我上次要配置双向同步，它的对等发布好像没部署成功。那么数据库怎么同步？除此之外，高版本sqlserver提供了AlwaysOn,可以用来做Sqlserver的高可用，除了这两种同步方法，其他基本上要靠外部实现了，比如设置触发器，将insert,update,delete触发到临时
2021-04-22
m0_46305132的博客
04-22 205
DMHS双向同步搭建(DM7-DM7) 达梦数据实时同步软件 DMHS 是达梦公司推出的一款支持异构环境的高性能、高可靠和高可扩展的数据库实时同步系统。该产品基于成熟的关系数据模型和标准接口，跨越多种软硬件平台实现秒级数据实时同步。该产品可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发和多业务中心等业务领域。 达梦数据实时同步软件 DMHS， 通过秒级数据实时同步可以有效避免传统备份系统导致的无法完全满足企业对于信息系统不中断服务的问题；通过变化日志捕捉可以有效降低传统 ET...
达梦6DMHS双向同步
qq_44213865的博客
10-28 538
1 环境说明 为学习DMHS双向同步部署和了解达梦6双向同步运行机制，现在自己测试机上部署了一个DMHS的双向同步，源端和执行端的数据库版本和DMHS版本均一致，如下： DMHS版本 DMHS console tool: V4.1.1-Build(2021.03.22-98423trunc)_D64 数据库版本 V6.0.2.80-Build(2020.05.12) 双向同步两端IP 192.168.3.77 ----192.168.3.66 2 安装DMHS软件 2.1 字符
数据库之间的数据同步
a615549958的专栏
03-17 6999
数据库之间的数据同步有以下几种情况：第一种是在非业务工作时同构数据库之间数据同步，这种情况下，只有存量数据库。只需要将源库中的数据文件拷贝的目标库，目标库加载数据文件即可。第二种是在非业务工作时异构数据库之间的数据同步，这种情况 下，只有存量数据库。需要将源库中的数据以SQL数据形式导出，然后加载到目标库即可。第三种是在业务工作时同构数据库之间的数据同步，这种情况下，存量数据同步方法是：将从源库将...
mysql同步，双向同步
12-03
MySQL双向同步配置详解 MySQL同步是指将多个数据库服务器之间的数据保持实时同步的过程。这种技术可以应用于分布式系统、数据备份、灾难恢复等场景。在这个资源中，我们将详细介绍如何配置 MySQL 双向同步。 MySQL...
调度机配置mysql双向同步.docx
03-10
MySQL 数据库的双向同步配置是确保高可用性和数据一致性的重要技术。在本配置过程中，我们将使用两台 CentOS 6.5 服务器，并通过 Keepalived 实现虚拟 IP 自动切换，以达到主从数据库间的双向同步。以下是详细的步骤...
Windows mysql 双向同步设置方法 详细篇
12-15
准备两台Windows NT 主机，分别安装好iKEY Server windows 版本，确定版本无误，确保mysql服务正常启动，确保两台主机处于同一个局域网中，确定好哪台做为主、备机器，假设A为主机，B为备机，假设A主机IP地址为：192...
mysql双向同步终极秘籍
03-08
### MySQL双向主主同步终极秘籍 在当前的IT环境中，数据的一致性和可靠性变得尤为重要。MySQL作为一种广泛使用的开源关系型数据库系统，在企业级应用中扮演着重要角色。本文将详细介绍如何实现MySQL的双向主主同步...
数据库同步 数据库同步
09-18
数据库同步 sql 同步 sql 2000 同步 sql 2005 同步 MS-SQL同步
DMHS双向同步部署文档及报错处理（DM8-DM8）
disclipline的博客
06-25 1198
数据库版本IP主机名实例名端口号机器DM1DMSERVER5236ADM2DMSERVER5236B至此DMHS安装完成，我们环境安装路径为/home/dmdba/dmhs，源端虚机和目的端虚机环境都需要安装。
Oracle11g-DM7 使用DMHS进行数据同步
weixin_42447367的博客
08-31 281
进入dmhs文件夹下的bin目录 源端及执行端运行 DMHS 软件工具 dmhs_server。 执行端运行 DMHS 软件工具 dmhs_console，连接执行端 DMHS 服务， 控制台管理 工具中执行如下 DMHS 命令： connect ip:mgr_port 启动日志执行模块， 控制台管理工具中执行如下 DMHS 命令： start exec 源端运行 DMHS 软件工具 dmhs_console，连接源端 DMHS 服务， 设置日志捕获模 块起始 LSN。 源端在控制台输入 clear e.
dmhs关于dm到mysql的搭建
zcn126的博客
03-08 423
1.环境准备 （1）操作系统的用户权限 启动dmhs服务的操作系统用户最好是数据库的安装用户如果不能用数据库的安装用户，那么创建的dmhs服务用户必须要和数据库的安装用户在同一用户组中。 （2）硬件需求 内存需求 DMHS 需要的内存总量取决于分析线程以及执行线程的并发数，最少需要 1G 内存。 磁盘需求 DMHS 安装文件占用 277M，包括了管理工具以及管理界面占用的空间，另外需要一些额外的空间存储 DMHS 运行的日...
DMHS搭建、以及DMHS 双向同步
Quiet930187012的博客
08-12 897
DMHS搭建、以及DMHS 双向同步
快速搭建DMHS DM之间双向同步
ai20110304的专栏
07-26 789
DMHS数据实时同步；同构数据库；DM至DM双向同步；轻松快速搭建DMHS
达梦数据库DMHS的使用
January01的博客
08-29 550
DMHS软件的安装源端因为需要捕获产生的数据，所以必须要和源端数据库部署在同一台机器上，目的端可以不用部署在和目的端数据库同一台机器上，以下演示为了方便，源端DMHS软件和源端数据库部署在同一台机器上，目的端DMHS软件和目的端数据库部署在同一台机器上 1.分别在源端机器和目的端机器上安装DM数据库软件，安装目录为/home/dmdba/dmdbms 2.分别在源端机器和目的端机器上初始化一个单机实例，实例目录为/dmdata/dmdb 3.分别在源端机器和目的端单机实例上开启归档，归档文
dmhs初步使用
qq_44956461的博客
03-25 2264
dmhs使用 配置 Dmhs配置需要内置数据库和源库，目的端 Windows使用dmhs卸载后再次安装会出现 通过实验得知 window安装dmhs会重新安装DmhsWebService服务，其他服务不会安装 数据库不会初始化 Linux安装 我配置的是三台linux机器 一台提供内置数据库 IP 192.168.1.3 数据库DM7 SYSDBA/SYSDBA 192.168.1.3:15236 一台源端 IP 192.168.1.6 数据库DM8 SYSDBA/SYSDBA 192.168.1
使用Keepalived实现MySQL双主同步配置指南
本文档详细介绍了如何在CentOS 6.8系统上使用Keepalived和MySQL实现双主同步复制的配置步骤。涉及到的主要技术包括Keepalived的安装配置以及MySQL的主主复制。 首先，我们需要了解Keepalived的作用。Keepalived是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值