DM7 HS学习

DM7 HS学习

一 DMHS基本概念

1. 定义

DMHS全称是Heterogeneous database Synchronization for DM，即达梦异构数据库同步软件。DMHS是基于数据库日志，支持同构、异构数据库的实时同步软件，可以实现双业务中心架构。

​DMHS软件功能非常丰富，支持多种架构场景，主流数据实时同步软件的相关功能DMHS都已实现并且根据实际业务需求丰富了更多功能。主流的数据实时同步软件主要有：Oracle GoldenGate、DSG RealSync、Quest Shareplex等。

2. 主要特点

A. 没有图形界面，作为后台服务运行，单进程多线程架构，程序名dmhs_server

B. 提供WEB管理界面，支持DMHS运行配置管理、启停管理、运行监控等功能

C. 采用xml结构的文本配置文件，通过配置文件配置相应的运行模式和功能

D. 提供控制台工具连接同步服务，提供丰富的运行管理及监控命令

E. 提供配置助手（hsca），文件转换配置工具（convert）相关图形界面操作工具

F. log目录下丰富的运行日志输出，便于掌握DMHS运行状态

G. 提供有《DMHS管理员手册》《DMHS参考手册》《DMHS实施手册》等参考文档

3. 总体架构

A. 单进程多线程架构（进程名称dmhs_server)

B. 源端主要线程：日志读、日志分析、日志发送、监听、调度管理

C. 目标端主要线程：日志接收、日志执行、监听、调度管理   

D. 扩展功能模块： guard进程守护、stat监控统计、对比工具、WEB管理平台

4. 技术特点

A. 源端基于数据库日志分析进行增量数据捕获

B. 目标端基于标准数据库接口进行增量数据应用（ODBC）

C. 以数据库事务为最小复制单位，确保复制数据的完整性和一致性

支持主流关系型数据库（DM系列、ORACLE系列、MySQL、PostgreSQL、DB2、SQL SERVER

支持多种软硬件平台、支持多种复制拓扑结构

支持断点续传、支持同步数据链路冗余

丰富的高级功能支持：文件转换、复杂拓扑、FTP架构、kafka支持、ETL支持

5. 系统辅助表

A. DMHS目标端在初始启动时，会在目标数据库中创建6张系统表

B. DMHS采用基于提交事务表的技术来保证复制事务的一致性（确定分析起始点、故障恢复）

C. 提交事务表由DMHS自身进行维护，无需人工干预。此表是复制系统核心表，需要防止误删除

D. 与提交事务表相关的两个控制参数

※trxid_tables ：设置提交事务表的个数，默认为1。避免提交事务表单表热点问题

※trxid_table_depots： 仅适用于DM6，提交事务表是否分库创建

6. 工作模式

A. 捕获器

捕获器在数据实时同步系统中负责读取、解析源端数据库管理系统的归档日志，并发送解析后的数据。

B. 执行器

  执行器在数据实时同步系统中负责接收数据，并进行数据映射及事务的入库（目标端数据库）执行。

C. 路由器

  路由器适用于捕获器和执行器被网关隔断的环境，捕获器和执行器无法通过NET实现网络直连，需要经过第三台机器中转的情况。

D. 转发器

  捕获器和执行器之间存在物理隔离网闸，无法通过网络直连需要通过文件中转的情况

二 安装部署DMHS

1. 在ftp上下载对应版本的DMHS，并上传到数据库目录下

2. 执行图形化安装

选择完整版，并指定目录

此处选择统一部署

统一部署：安装同步软件，稍后进行DMHS的配置

现在初始化：安装同步软件，同时进一步使用安装程序进行DMHS的配置

配置服务自动注册

使用root用户执行脚本

/home/dmdba/dmhs/scripts/root/root_installer.sh

执行完成，DMHS服务已自动启动

安装完成

安装后DMHS目录结构如下

bin：可执行程序目录（ debug版本）

bin2：可执行程序目录（debug版本）

db：web使用的内置元数据库（dm7）

doc：手册目录

hs_agent：远程部署功能组件

log：安装日志目录

web:web：客户端

3. 配置使用

1） 配置文件

DMHS支持一下三种配置文件配置方式：

修改dmhs.hs，使用hsca配置工具，使用WEB管理平台

使用浏览器输入http://IP:8080/manager/ 打开WEB界面

使用默认用户名密码登录：admin/888888

https://eco.dameng.com