[达梦数据库]达梦数据实时同步DMHS新增同步表

最新推荐文章于 2024-08-23 11:26:19 发布
最新推荐文章于 2024-08-23 11:26:19 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： 达梦数据库 文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45433602/article/details/115187846
版权
这篇博客详细记录了使用Oracle GoldenGate进行数据同步的过程，包括修改dmhs.hs配置文件，初始化同步表，以及查看同步状态。通过DMHS_console工具执行COPY命令，对多个表进行数据同步，并展示了同步数据量的确认方式。
摘要由CSDN通过智能技术生成

1 源端操作

1.1 修改dmhs.hs配置文件

[oracle@hnsia-exa02 ~]$ cd /ogg/dmhs2_59903/

#备份配置文件

[oracle@hnsia-exa02 dmhs2_59903]$ cp dmhs.hs dmhs.hs.20210219

[oracle@hnsia-exa02 dmhs2_59903]$ vi dmhs.hs
<?xml version="1.0" encoding="GB18030"?>
<dmhs>
    <base>
        <lang>en</lang>
        <mgr_port>5903</mgr_port>		
        <chk_interval>45</chk_interval>
        <siteid>130</siteid>
	<cpt_check>0</cpt_check>
    </base>
    <cpt>
<name>all130</name>
        <db_type>oracle12c</db_type>
        <db_server>10.120.82.13/SIACHX</db_server>	
        <db_user>dmhs</db_user>		
        <db_pwd>**********</db_pwd>	
	<!--char_code>PG_UTF8</char_code-->
        <ddl_mask>TABLE:ALTER</ddl_mask>        
	<supplement_log>1</supplement_log>
	<cpt_check>0</cpt_check>
        <arch>
            <clear_interval>600</clear_interval>
            <clear_flag>0</clear_flag>
        </arch>
        <rac>
            <rac_type>1</rac_type>
            <db_server>ASM</db_server>
            <db_user>sys</db_user>
            <db_pwd>******</db_pwd>
            <nodes>2</nodes>
        </rac>	
        <send>
            <ip>10.120.109.22</ip>		
            <mgr_port>6003</mgr_port>
            <data_port>6004</data_port>
            <filter>
<disable>
</disable>
                <enable>
#添加表
<item>SIAP.HNSIA.AC62</item>

                </enable>
            </filter>
            <map>
            </map>
        </send>
    </cpt>
</dmhs>

1.2 初始化同步表

[oracle@hnsia-exa02 dmhs2_59903]$ ./dmhs_console 
CSL[INFO]: DMHS console tool: V3.1.3-Build(2020.08.06-92763trunc)_D64
DMHS >connect 127.0.0.1:5903
CSL[WARN]: [INPUT CMD: connect 127.0.0.1:5903]
CSL[INFO]: execute success
DMHS >cpt
CSL[WARN]: [INPUT CMD: cpt]
capture module information:                         log execute module information:                     
status                   :read log                  status                   :idle                      
database             name:10.120.82.131/SIACHX      database                 :normal                    
database               ID:130                       active        transaction:154                       
log                  mode:online                    waiting for execute count:0                         
ansys               queue:0                         exec                     :961153 (0/S)              
post                queue:0                         commit                   :826037 (0/S)              
log   page   sequence  no:0                         rollback                 :67844850 (0/S)            
waitting   for   analysis:0                         affect rows              :1822334 (0/S)             
waiting   for        post:0                         lob cached                :0                        
log      page      number:5956737598 page(3/S)      checkpoint               :2021-02-19 15:57:11       
post                times:1207685019 time(0/S)      cvt                 state:idle                      
file IO             times:0 time(0/S)               cvt      trx          num:0                         
log      cache      bytes:0 B(0B/S)                 
log      parse      bytes:0 B(0B/S)                 
log      total      bytes:2250562974080 B(1.36K/S)  
archive         directory:                          
log                  file:group_2.317.989930201     
log                  time:2021-02-19 16:08:34       

log sender information:                             log   reciver   information:                        
status                   :waiting for log           status                   :waiting recieve log       
filter              count:0                         total       log     count:920231295                 
queue              length:0 (0.00 percent)          recieve             times:93447192 time             
log      total      count:1208438945 time           exectute            times:920231295 time            
send                times:128479043 time            log                   LSN:17099645158180            
log                   LSN:17099645158183            message               LSN:93447192                  
message               LSN:93447192                  start                 LSN:17097545040911            
Start                 LSN:17097545040911            message             bytes:45430345247 B(28B/S)      
message             bytes:61757295064 B(38B/S)      
log                  time:2021-02-19 16:08:34       
Apply status:No data                                
CSL[INFO]: execute success

#停cpt进程

DMHS >stop cpt
CSL[WARN]: [INPUT CMD: stop cpt]
CSL[INFO]: execute success

#同步表

DMHS >COPY 0 "SCH.NAME='HNSIA_JZSI' AND TAB.NAME='AC62'" CREATE|INSERT|PDB|"SIAP_JZ"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_JZSI' AND TAB.NAME='AC62'" CREATE|INSERT|PDB|"SIAP_JZ"]
CSL[INFO]: copy mask is : |CREATE|INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result
DMHS >COPY 0 "SCH.NAME='HNSIA_NYSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_NY"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_NYSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_NY"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result
DMHS >COPY 0 "SCH.NAME='HNSIA_PDSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_PD"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_PDSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_PD"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result
DMHS >COPY 0 "SCH.NAME='HNSIA_SMSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_SM"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_SMSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_SM"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result
DMHS >COPY 0 "SCH.NAME='HNSIA_SZSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_SZ"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_SZSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_SZ"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result
DMHS >COPY 0 "SCH.NAME='HNSIA_YCSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_YC"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_YCSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_YC"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[ERROR]: initial loader failure
DMHS >COPY 0 "SCH.NAME='HNSIA_YCSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_YC"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_YCSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_YC"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[ERROR]: initial loader failure
DMHS >COPY 0 "SCH.NAME='HNSIA_ZZSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_ZZ"
CSL[WARN]: [INPUT CMD: COPY 0 "SCH.NAME='HNSIA_ZZSI' AND TAB.NAME='AC62'" INSERT|PDB|"SIAP_ZZ"]
CSL[INFO]: copy mask is : |INSERT|TABLE|OBJID|REP
CSL[UNKNOW]: execute finish, please look up log file of exec module to check data load result

#启动cpt

DMHS >start cpt
CSL[WARN]: [INPUT CMD: start cpt]
CSL[INFO]: execute success

DMHS >cpt
CSL[WARN]: [INPUT CMD: cpt]
capture module information:                         log execute module information:                     
status                   :read log                  status                   :idle                      
database             name:10.120.82.131/SIACHX      database                 :normal                    
database               ID:130                       active        transaction:158                       
log                  mode:archive                   waiting for execute count:0                         
ansys               queue:0                         exec                     :966978 (0/S)              
post                queue:0                         commit                   :831240 (0/S)              
log   page   sequence  no:0                         rollback                 :67986041 (0/S)            
waitting   for   analysis:0                         affect rows              :1932794 (0/S)             
waiting   for        post:0                         lob cached                :0                        
log      page      number:16020151 page(0/S)        checkpoint               :2021-02-19 16:08:42       
post                times:1777585 time(0/S)         cvt                 state:idle                      
file IO             times:0 time(0/S)               cvt      trx          num:0                         
log      cache      bytes:0 B(0B/S)                 
log      parse      bytes:0 B(0B/S)                 
log      total      bytes:4053244036 B(2B/S)        
archive         directory:                          
log                  file:thread_1_seq_42687.671.1064940689
log                  time:2021-02-19 16:25:43       

log sender information:                             log   reciver   information:                        
status                   :waiting for log           status                   :waiting recieve log       
filter              count:0                         total       log     count:922029023                 
queue              length:0 (0.00 percent)          recieve             times:93578229 time             
log      total      count:1777859 time              exectute            times:922029023 time            
send                times:126963 time               log                   LSN:17099648578854            
log                   LSN:17099648578857            message               LSN:126963                    
message               LSN:126963                    start                 LSN:17099642553492            
Start                 LSN:17099642553492            message             bytes:45522199456 B(28B/S)      
message             bytes:78477763 B(0B/S)          
log                  time:2021-02-19 16:25:43       
Apply status:No data                                
CSL[INFO]: execute success

2 目标端日志

2021-02-19 16:49:18 EXE[WARN]: set table .HNSIA_STAT2.AC62 start LSN: 17099654144304 LFS: 0 load rows:6621, source database:SIAP_PD

显示同步数据量，同时可以通过数据库确认数据量是否相符。

weixin_45433602
关注
专栏目录
达梦DMHS异构数据库数据实时同步软件速知
lucky_fly的专栏
03-12 4514
DMHS简介 DMHS(Heterogeneous database Synchronization for DM)是达梦数据库公司推出的一款异构数据库数据实时同步工具软件。同步源端支持ORACLE系列、达梦系列、DB2、MySQL、PostgreSQL、SQL SERVER数据库，同步目的端支持通过ODBC接口访问的数据库。 DMHS主要功能 DMHS主要有两种功能： 数据装载（copy） 和数...
达梦数据库系列—48.DMHS实现Mysql到DM8的同步
md54333的博客
08-15 1086
exec_policy=2表示执行事务出错时，忽略出错的操作后继续执行；ddl_continue=1表示DDL操作同步出错时，继续往下操作。如果执行卡住，删除bin/log下的日志以及bin目录下的dmhs_cpt.tmp。注意：mysql端的item表名用小写，DM端的用户名表名必须用大写。然后重启dmhs_server，再执行clear exec lsn。源端：Mysql8.0.35，RH7.5。源端cpt启动，目标端exec会自动启动。1、获取不到映射表的字段信息。目标端：DM8，麒麟V10。
DMHS（达梦数据实时同步平台）安装部署
qq_45426150的博客
07-09 1271
DMHS（达梦数据实时同步平台）安装部署 目录DMHS（达梦数据实时同步平台）安装部署1.介绍2.安装部署2.1 环境准备2.2 DMHS 安装部署2.3 DMHS 产品完整性检查2.4 DMHS的安装 1.介绍 DMHS 管理平台（简称 HSEM）主要有三大模块：服务管理、监控及告警、系统管理，整个平台可实现以下功能： 1.1 对 DMHS 服务实例的统一部署、启动停止删除、版本升级，添加捕获器执行器模块，WEB 控制台和图形化修改 DMHS 配置和在线查看编辑 DMHS 配置，启动停止捕获器执行器模
达梦数据库定时同步数据
最新发布
qq_66018146的博客
08-23 1532
随着企业数据量的不断增长，数据同步和备份的重要性日益凸显。达梦数据库以其高性能、高可靠性和易用性，成为众多企业数据存储和管理的首选。为了应对数据丢失或损坏的风险，及时的数据同步和备份机制是必不可少的。本文将探讨两种常见的达梦数据库数据同步方法：一是通过图形化工具DM数据迁移工具进行操作，二是利用Shell脚本实现定时备份模式。这两种方法各有优势，适用于不同的应用场景和需求。以上就是对达梦数据库数据同步和备份方法的简要总结。用户可以根据不同的应用场景和需求选择适合的方法来确保数据的安全性和完整性。
手把手教你达梦数据实时同步软件 (DMHS)的安装和使用（附实战详细记录：本地模拟实现达梦数据库双活、灾备）
热门推荐
weixin_42082084的博客
05-07 1万+
系列文章目录 文章目录系列文章目录前言环境一、DMHS的安装 （命令行）1、安装文件准备2、修改可执行文件后执行安装程序二、DM8数据库准备工作1、开启归档日志2、开启逻辑日志3、配置 DDL辅助表和触发器4、创建DMHS软件连接数据库的用户三、DMHS双向同步配置节点1 DMHS服务配置节点2 DMHS服务配置一个简单地使用例子四、关闭达梦ETL服务总结 前言 本次模拟实验主要在本地两台虚拟机上，安装dm8数据库，并通过DMHS软件实现双向同步，达到双活、灾备效果。（以下主要展开DMHS的安装和配置，
达梦触发器实现数据同步
931195328
04-17 736
仅限于创建完成后的INSERT、UPDATE、DELETE操作，TRUNCATE无法触发同步数据，详见定义，可基于全字段触发或某个字段，根据需求修改。
高级DBA带你解决win10安装部署mysql8卡在服务启动解决方法
nasen512的博客
08-05 1670
Windows环境mysql8安装部署
Hive metastore 使用达梦数据库存储元数据
05-10
你需要以管理员身份登录达梦数据库，然后执行创建表空间的SQL语句，例如创建名为`hive_meta`的表空间，并指定数据文件的位置和大小。接着，创建一个名为`hive`的用户，设定其默认表空间为`hive_meta`，并赋予适当的...
达梦数据库数据量统计.sql
04-19
达梦数据库数据量统计.sql
达梦数据库查询数据库所有表名-DM7达梦数据库常用的运维SQL语句 数据库运维.pdf
04-19
下面将从达梦数据库查询数据库所有表名、查看数据库版本号、查看表空间的名称及大小、查看表空间物理文件的名称及大小等多方面对达梦数据库的常用运维SQL语句进行详细介绍。 一、查看数据库版本号 在达梦数据库中...
达梦数据库连接管理&数据迁移工具
03-13
达梦数据库可视化连接工具、DM管理工具、DTS数据迁移工具等。使用该工具可以连接管理达梦数据库、调试达梦增删查改等SQL语句、存储过程，迁移mysql、oracle、dm等数据库上的数据到达梦数据库里面。
达梦数据库搭建Oracle-dm8数据同步（dmhs）之生成DDL触发器和DDL记录表
weixin_42447367的博客
08-29 499
在安装dmhs目录下scripts下面找到ddl_sql_ora.sql脚本 打开ddl_sql_ora.sql脚本，将其中的生成表和触发器的代码单独拿出来，各自形成一个sql脚本，注意在创建触发器的sql脚本末尾的空行下加上一个/，否则该sql脚本将不能正常运行。 创建完脚本后，在Oracle数据库的sys模式下，分别执行两个脚本文件，即可生成触发器和同步表。 可以在sys模式下查看该表有没有生成，触发器有没有生成 由上图可知，触发器已经生成。 ...
达梦DMHS同步软件安装
孙立锋个人博客
05-24 781
最近在安装达梦 dmhs 同步软件，由于第一次安装，步骤不太熟悉，所以安装过程产生了好多问题。经过达梦社区、百度、同事询问，终于安装成功，现将步骤分享给大家，供参考。 1、卸载 （可略过） rm -rf /etc/init.d/Dmhs* 2、安装数据库环境 （源和目标） mount -o loop /soft/dm8_20211028_x86_rh6_64_ent_7.6.1.112.iso /mnt mkdir -p /dm8/dmdata chown dmdba:dinstall /dm8 -
快速搭建DMHS DM之间双向同步
ai20110304的专栏
07-26 814
DMHS数据实时同步；同构数据库；DM至DM双向同步；轻松快速搭建DMHS
dmhs同步工具---达梦到oracle的单向同步，表结构不同的配置方法
weixin_43998353的博客
01-15 908
在国产化的趋势下，现许多厂商都采购了国产数据库，比如用达梦数据库替换原来的oracle数据库，客户可能比较担心国产数据库如果有问题，我们有没有办法回退到原来，这样不耽误系统的使用。现提供个方案是，使用达梦的dmhs同步软件进行达梦到oracle的同步，一旦达梦数据库出现问题，我们可以在最短时间切换到原来的oracle数据库上。 以下是数据同步比较特殊的一种情况，两边表结构不一致 建议在差异不大的情况下如下配置，如果差异过大，配置起来比较繁琐。 一、软件信息 1.软件部署在/opt/dmhs下，...
配置DMHS实时同步（DM＞＞DM）
qq_45222081的博客
09-25 726
Dmhs(dm->dm)安装部署
【达梦数据库】数据实时同步软件 + 数据对比工具
weixin_44559140的博客
06-20 1844
达梦数据实时同步软件（DMHS）是一个支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。本文主要介绍DMHS 数据实时同步软件和数据对比工具的工作机制，简单比较了DMETL和DMHS。...
达梦单机DMHS搭建（dm8-dm8）
weixin_38840521的博客
05-26 694
一 确认环境信息 二 源端安装HS 2.1 上传安装包 dmhs_V4.2.55_dm8-dsc_rev105986_rh6_64_veri_20220215.bin scp -r dmhs_V4.2.55_dm8-dsc_rev105986_rh6_64_veri_20220215.bin/ root@49.233.255.65:/opt/dmsetup ********* 2.2安装 cd /data mkdir dmhs cd /opt/dmsetup sh dmhs_V4.2..
达梦DMHS单机双向传输（dm8-dm8）
weixin_38840521的博客
10-11 565
hs
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值