DM数据同步工具DMHS、DM和oracle端安装

目录

1 DMHS数据同步

1.1 DMHS系统组成

1.1 日志分析（CPT）

1.2 数据传输（NET）

1.3 数据入库（EXEC）

1.4 DMHS功能划分

1.4.1 捕捉器

1.4.2 执行器

1.4.3 路由器

1.4.4 转发器

2 DM端安装DMHS

2.1 命令行安装

3 DMHS在oracle安装

3.1 命令行安装

---

1 DMHS数据同步

1.1 DMHS系统组成

        DMHS 同步服务主要分为三大模块，分别是日志分析 (CPT) 、数据入库 (EXEC) 和消息发

送 (NET) ，这三个模块统一由管理模块 (MGR) 进行调度执行。

1.1 日志分析（CPT）

        负责对源数据库日志进行解析，联合字典信息提取其中数据的变化如插入（INSERT ）、

删除（ DELETE ）、修改（ UPDATE ）和对像操作（ DDL ），这些操作经过包装后投递给消

息发送（ NET ）模块。

        CPT 分析日志时，需要与日志获取的数据库进行链接并从数据库中查询表的字典信息以及日志文件发生切换时所需要访问日志文件信息。

1.2 数据传输（NET）

         1）NET消息发送子模块

        经过 CPT 捕获到的日志操作，在这里进行分发，分发前可以对操作进行过滤，或者对表进行过滤和映射，还可以对消息中的列进行映射（改名、剔除和函数计算）。经过处理的消息通过网络(TCP/IP)发送给下一级，或者保存到本地文件。

         2）NET消息接收模块

        经上一级 NET 消息发送子模块通过网络传输的消息，在这里由 NET 消息接收子模块通过网络(TCP/IP)接收并发送给 EXEC 模块。当上一级 NET 消息发送子模块将消息保存在一般本地文件目录时，NET 消息接收子模块读取本地文件并发送给 EXEC 模块；当上一级 NET 消息发送子模块将消息保存在 FTP 文件目录时，NET 消息接收子模块可通过 FTP 服务器下载数据，并发送给 EXEC 模块。除了作为 CPT 模块和 EXEC 模块的传输媒介外，NET 模块还能够单独实现转发和路由功能，这两个功能需要在配置文件中独立配置，通过转发和路由功能实现多对多、一对多、文件中转和 FTP 中转的高级功能。

1.3 数据入库（EXEC）

        EXEC 模块接收到 NET 接受子模块发来的消息，把这些消息按事务分类，如果某个事务上收到了提交消息，则构造相应的 SQL，使用 ODBC 驱动接口对这些数据进行入库；如果某个事务在源端回滚，则直接丢弃不执行。同步中如果使用了中文表名或者字段名，要使用支持中文字符集的 unixODBC，否则描述表会出错。EXEC 模块在运行过程中需要不断的刷新检查点，以便推进入库的 LSN。

1.4 DMHS功能划分

1.4.1 捕捉器

        捕获器由 MGR 模块、 CPT 模块、 NET 发送子模块组成， XML 配置文件中对应元素为 base 、

cpt 、 send 。

        捕捉器必须和源端数据库位于同一机器上，主要用于用来将源端数据库的日志读取解析后发出去。捕获器中包含日志分析模块 CPT，由于日志分析需要用到数据库中的表信息，所以捕获器在首次启动时，要进行初始化加载需要同步的表的字典信息，把这些信息存放到本地。即使源数据库中断了服务，也不会影响日志分析。因此需要在捕获器中配置源数据库连接相关的信息，包括连接数据库的用户名和口令。

1.4.2 执行器

        执行器由 MGR模块、EXEC 模块、 NET 接收子模块组成， XML 配置文件中对应元素为 base 、 exec 、 recv 。

        执行器中的主要模块 EXEC 模块，主要用来进行数据入库，为了兼容大多数的数据库， 它采用了标准的 ODBC 驱动接口和符合 SQL92 标准的 SQL 语句来访问数据库。此处需要配置的参数有数据库连接信息、事务缓存信息以及事务入库的方式等。数据入库往往是DMHS 数据同步的性能瓶颈所在，所以这块参数配置非常的重要，需要结合实际的运行环境，源端应用事务的特点来针对性的配置，实现入库性能的最大化。

1.4.3 路由器

        路由器由 MGR模块、NET 接收子模块、NET 发送子模块组成，XML 配置文件中对应元素为 base、route、recv、send。路由器一般单独配置一台机器。路由器适用在捕获器和执行器被网关隔断的环境，捕获器中的 CPT 模块和执行器中的EXEC 模块无法通过 NET（捕获器的 NET 发送子模块及执行器的 NET 接收子模块）实现网络直连，需要经过第三台机器中转的情况。

1.4.4 转发器

        转发器由 MGR 模块、 NET 接收子模块、 NET 发送子模块组成， XML 配置文件中对应元素

为 base 、 transfer 、 recv 、 send 。

        转发器适用在一个捕获器需要对应多个执行器的环境，或者捕获器和执行器之间存在物理隔离网闸，无法通过网络直连需要通过文件中转的情况。

2 DM端安装DMHS

2.1 命令行安装

  1、执行安装程序

#执行安装程序
./dmhs_V4.2.82_pack1_dm8_rev109035_rh6_64_veri_20220523.bin -i

如下图所示： 

 2、选择安装语言

 3、选择试用DMHS

 4、选择安装类型

 5、选择安装路径及是否初始化 

  6、安装过程

     

 7、远程部署工具名称(默认)、IP及端口

8、web平台配置默认 

9、配置内置数据库服务 

 10、配置脚本

        以root用户执行。

[root@localhost ~]# /dm8/dmhs/scripts/root/root_installer.sh

3 DMHS在oracle安装

3.1 命令行安装

 1、用户执行下面命令，进行在oracle下安装DMHS。

#安装oracle端DMHS
./dmhs_V4.2.60_pack2_oracle_rev107226_rh6_64_veri_20220402.bin -i

 2、选择语言

 3、选择key文件，选择1免费试用

4、选择安装类型

 5、配置安装路径

 6、初始化DMHS

 7、远程工具部署名称、IP及端口

8、内置数据库服务（自动）

 9、安装服务

#服务创建
/home/oracle/dmhs/scripts/root/root_installer.sh

         结果如下图所示：

详细内容,可到达梦官网进行了解:达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台