DMHS同步Oracle11G数据到DM8

于 2023-09-15 14:42:05 发布
阅读量152 收藏
点赞数
分类专栏： DM8数据库 文章标签： oracle 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JABX_doudou/article/details/132716773
版权

一、基础概念

1.1DMHS

达梦数据实时同步软件 DMHS 是达梦公司推出的新一代支持异构环境的高性能、高可靠和高可扩展的数据库实时同步系统。

DMHS 同步服务主要包括四个模块，分别是捕获模块(CPT)、装载模块(LOAD)、传输 模块(NET)以及执行模块(EXEC)，这些模块统一由管理模块(MGR)进行管理执行。

1.2部署分配

源端目的端
ip地址192.168.198.128192.168.198.128
数据库OracleDM8
部署地址/home/oracle/dmhs/home/dmdba/dmhs
数据库端口号15215236
DMHS服务端口53455345
数据接收端口\5346

二、安装前准备

2.1oracle端（源端）前期准备

在安装 DMHS 之前，源端数据库管理员应当首先完成安装前的准备工作。

  1. 检查 ORACLE 数据库归档日志功能是否已开启；

  2. 检查 ORACLE 数据库最小附加日志功能是否已开启；

  3. 如果需要同步 DDL 操作，还需要检查 ORACLE 数据库回收站是否已关闭。

2.1.1检查系统信息

在安装 DMHS 前，需要检查当前操作系统的相关信息，确认 DMHS 安装程序与当 前操作系统匹配，以保证 DMHS 能够正确安装和运行。

getconf LONG_BIT         ##查看系统位数
cat /etc/redhat-release  ##查看release信息
uname -a                 ##查看系统名称

2.1.2检查系统内存与存储空间

为了保证 DMHS 的正确安装和运行，要尽量保证操作系统至少 1GB 的可用内存(RAM)。 如果可用内存过少，可能导致 DMHS 安装或启动失败。

1.检查内存

#获取内存总大小
grep MemTotal /proc/meminfo
 
#获取交换分区大小
grep SwapTotal /proc/meminfo
 
#获取内存使用详情
free

2.检查存储空间

DMHS 完全安装需要 1GB 的存储空间，用户需要提前规划好安装目录，预留足够 的存储空间。并且 DMHS 安装程序在安装时将产生临时文件，临时文件需要 1GB 的存储空间，临时文件目录默认为/tmp

df -h /opt  ##查看opt的容量
df -h /tmp  ##查看tmp的容量

2.1.3检查数据库管理系统

1.检查归档日志

检查源端数据库管理系统所在机器，是否开启数据库管理系统的归档日志、附加日志；如果需要 DDL 同步，还需要检查是否关闭数据库管理系统的回收站。

archive log list  ##查看归档信息
 
如果没有打开归档则执行以下命令打开归档
 
shutdown immediate  ## 关闭数据库
 
startup mount  ## 以mount方式开启数据库
 
alter database archivelog;  ## 开启归档
 
alter system set db_recovery_file_dest='';
alter system set log_archive_dest='/data/oracle/oradata/orcl/archlog';
 
alter database open;  ## 开启数据库

在这里插入图片描述

2.检查附加日志

##检查附加目录是否开启
select supplemental_log_data_min, supplemental_log_data_all from v$database;
 
 
##若未开启则执行以下命令开启附加目录
alter database add supplemental log data;
alter database add supplemental log data (all) columns;

在这里插入图片描述
在这里插入图片描述

3.检查回收站

##查看回收站是否关闭
show parameter recycle;  
##若回收站未关闭即recyclebin为on，则执行以下命令关闭
alter system set recyclebin=off deferred;

在这里插入图片描述

执行以上命令后需要重启数据库才能看到更改结果

在这里插入图片描述

4.检查同步用户权限

在 DMHS 捕获器中用于连接源端数据库管理系统的数据库用户，若没有 DBA 权限，则 至少应被赋予以下权限（SQL 执行）。

5.设置源端字符集

当数据库数据包含中文字符时，需将 DMHS 运作所在窗口的 NLS_LANG 设置为对应 的字符集，建议使用 AMERICAN_AMERICA.ZHS16GBK。

select userenv('language')from dual;  ##查询数据库字符集
 
echo $NLS_LANG  ##查询系统字符集
如果该变量值为空或者与查询结果不一致，请将改变量设置为查询结果的值修改 /.bash_profile或者/.profile，增加以下：

export NLS_LANG='AMERICAN_AMERICA.ZHS16GBK'
source ~/.bash_profile  ##更新

6.创建数据库用户dmhs

##创建dmhs用户
create user DMHS identified by "DMHS123456" default tablespace USERS temporary tablespace TEMP profile DEFAULT;
 ##密码需大于八位数，且有英文字母
 
##赋予dmhs以下权力
grant dba to DMHS;(用于测试时）
grant connect to DMHS;
grant select any table to DMHS;
grant select any dictionary to DMHS;
grant create session to DMHS;
grant lock any table to DMHS;
grant execute on dbms_flashback to DMHS;

在这里插入图片描述
在这里插入图片描述

  1. Root用户安装odbc

搭建DMHS最安装2.3.0以上的版本的odbc

rpm -qa|grep unixODBC  ##查看是否安装了ODBC
##添加ODBC环境变量
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib 
##安装ODBC
yum -y install unixODBC unixODBC-devel  
odbcinst -j
创建/ect/odbc.ini文件在odbc.ini添加以下内容：

vim /etc/odbc.ini

[ORACLE]
Description = Oracle ODBC driver for Oracle 11g
Driver= Oracle in OraDb11g_home1
SERVER = 192.168.198.128
ServerName = orcl
UserID = DMHS
Password = DMHS
Port = 1521

配置 odbcinst.ini 文件

[Oracle in OraDb11g_home1]
Description = ODBC DRIVER FOR ORACLE
Driver = /home/oracle/oracle_11g/product/11.2.0/lib/libsqora.so.11.1
Threading = 0
查看是否缺少依赖：

ldd /home/oracle/oracle_11g/product/11.2.0/lib/libsqora.so.11.1

如果缺少依赖则执行以下内容：

find / -name libclntsh* ##查找文件路径
cp /home/oracle/oracle_11g/product/11.2.0/lib/libsqora.so.11.1 /lib64/libclntsh.so.11.1 /lib64/libclntsh.so.11.1 ##将文件复制到lib64路径
再次查看依赖

ldd /data/oracle/product/11.2.0/lib/libsqora.so.11.1

所有依赖都已存在。

2.2DM8端（目的端）前期准备

先执行上面部分的2.1.1和2.1.2的前1、2点内容。

2.2.1开启归档

进入数据库，查看是否开启归档：

./disql SYSDBA/SYSDBA:5236
 
SQL> select arch_mode from v$database;

Y表示已开启

2.2.2开启逻辑日志

##查看逻辑日志是否开启
SELECT PARA_VALUE FROM SYS.V$DM_INI WHERE PARA_NAME='RLOG_APPEND_LOGIC'; 


未开启则执行以下命令开启逻辑日志： 

SP_SET_PARA_VALUE(2,'RLOG_APPEND_LOGIC',1);
执行完成后需要重启数据库服务器：

DmServicedmserver restart


 再次查询逻辑归档是否开启：

SELECT PARA_VALUE FROM SYS.V$DM_INI WHERE PARA_NAME='RLOG_APPEND_LOGIC';

2.2.3创建用户且授权

create user dmhs identified by "SYSDBA123456" default tablespace MAIN temporary tablespace TEMP;


grant dba to dmhs;
grant connect to dmhs;
grant select any table to dmhs;
grant resource to dmhs;

三、安装并部署DMHS服务器

3.1目的端（DM8）

3.1.1安装DMHS

mkdir /home/dmdba/dmhs  ##创建dmhs文件目录
将dmhs安装包上传至该目录并进行安装：
./dmhs_V4.3.06_dm8_rev124224_rh6_64_veri_20230214_sp2.bin

在dmhs安装目录/home/dmdba/dmhs/bin下新建dmhs.hs文件，并添加以下内容：

touch dmhs.hs
<?xml version="1.0" encoding="GB2312"?>
<dmhs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>
        <chk_interval>2</chk_interval>
        <ckpt_interval>45</ckpt_interval>
        <siteid>4</siteid>
        <version>2.0</version>
    </base>
    <exec>
        <recv>
            <data_port>5346</data_port>
        </recv>
        <db_type>dm8</db_type>
        <db_server>192.168.198.128</db_server>
        <db_user>dmhs</db_user>
        <db_pwd>DMHS</db_pwd>
        <db_port>5236</db_port>
        <char_code>PG_UTF8</char_code>
        <db_name></db_name>
        <exec_thr>8</exec_thr>
        <exec_sql>1024</exec_sql>
        <exec_trx>2000</exec_trx>
        <exec_rows>2000</exec_rows>
        <msg_col_size>30000</msg_col_size>
        <ddl_continue>1</ddl_continue>
        <affect_row>0</affect_row>
        <exec_policy>2</exec_policy>
        <enable_rowid>0</enable_rowid>
        <clear_trx_file>1</clear_trx_file>
        <trx_max_file>8</trx_max_file>
    </exec>
</dmhs>

3.1.2配置服务文件

将模板文件，复制一份为正式服务并授权，并修改文件内容

cp TemplateDmhsService DmhsService

chmod +x DmhsService

vi DmhsService
#set execute environment
#REPLACE DMHS_HOME path
DMHS_HOME=/home/dmdba/dmhs/bin
#REPLACE program dir
PROG_DIR=/home/dmdba/dmhs/bin
#REPLACE program config path
CONF_PATH=/home/dmdba/dmhs/bin/dmhs.hs
#REPLACE need library path, LD_LIBRARY_PATH/LIBPATH
NEED_LIB_PATH=
HS_NLS_LANG="AMERICAN_AMERICA.ZHS16GBK"
将key 文件上传至安装目录并修改文件名文dmhs.key

3.1.3启动dmhs服务器

cd至dmhs安装目录release：

./DmhsService start
./dmhs_console


DMHS> connect    ##连接
execute success
 
DMHS> start exec   ##开启exec工具
execute success

3.2源端（oracle)

3.2.1解压安装文件

以下配置最好使用oracle用户进行操作：

在目录创建文件夹dmhs,并运行安装程序

./dmhs_V4.3.06_oracle11g_rev124275_rh6_64_veri_20230220_sp3.bin

3.2.2配置文件

以下配置最好使用oracle用户进行操作：

在/opt/dmhs/release目录下创建dmhs.hs文件并添加以下内容：

touch dmhs.hs ##创建文件

<?xml version="1.0" encoding="GB2312"?>
<dmhs>
    <base>
        <lang>en</lang>
        <mgr_port>5345</mgr_port>
        <ckpt_interval>45</ckpt_interval>
        <siteid>1</siteid>
        <version>2.0</version>
    </base>
    <cpt>
        <db_type>oracle11g</db_type>
        <db_server>orcl</db_server>
        <db_user>DMSH</db_user>
        <db_pwd>DMHS</db_pwd>
        <ddl_mask>op:obj</ddl_mask>
        <char_code>PG_UTF8</char_code>
        <constraint>1</constraint>
        <arch>
            <clear_interval>600</clear_interval>
            <clear_flag>0</clear_flag>
        </arch>
        <send>
            <ip>192.168.37.130</ip>
            <mgr_port>5345</mgr_port>
            <data_port>5346</data_port>
            <filter>
                <enable>
                    <item>DMHS.*</item>
                </enable>
                <disable>
                </disable>
            </filter>
        </send>
    </cpt>
</dmhs>

复制模板文件为服务文件并进行授权

cp TemplateDmhsService DmhsService
chmod +x DmhsService
修改DmhsService文件的以下内容

#set execute environment
#REPLACE DMHS_HOME path
DMHS_HOME=/home/oracle/dmhs/bin
#REPLACE program dir
PROG_DIR=/home/oracle/dmhs/bin
#REPLACE program config path
CONF_PATH=/home/oracle/dmhs/bin/dmhs.hs
#REPLACE need library path, LD_LIBRARY_PATH/LIBPATH
NEED_LIB_PATH=
HS_NLS_LANG="AMERICAN_AMERICA.ZHS16GBK"

3.2.3连接dmhs服务器

当源端的文件配置完成后，可以在 /opt/dmhs/release 目录下执行以下语句进行连接:

./DmhsService start
./dmhs_console
connect 
 
clear exec lsn
 
copy 0 "sch.name='DMHS'"|CREATE
 
copy 0 "sch.name='DMHS'"|INSERT|THREAD|2
 
start cpt

官方网站：达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台

JABX_doudou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DMHS同步oracle19c到dm8（二）
weixin_43775431的博客
11-16 1123
这是夜说的第五篇学习文章，搭建dmhs从oracle19c单实例同步数据到dm8单实例，并配置达梦数据库数据同步管理平台。
DMHS部署ORACLE-DM8
qq_45426150的博客
08-16 240
DMHS部署ORACLE-DM8 文章目录DMHS部署ORACLE-DM8前言一，环境准备1.ORACLE环境检查操作系统用户用户环境变量权限归档检查附加日志检查2.DM环境检查二、dmhs安装oracle源端配置dm目的端配置三、启动DMHS服务启动目的端服务启动源端服务 前言 版本要求： 源端：对应操作系统数据库为oracle的dmhs版本。 目的端：对应操作系统的数据库为dm8的dmhs版本； 一，环境准备 1.ORACLE环境检查 操作系统用户 运行用户的要求，要求使用oracle用户或者和orac
Oracle到达梦的dmhs安装部署（字符界面）
qing1122334455的博客
08-29 740
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
DMHS部署实践（Oracle→DM8）
weixin_45260302的博客
09-03 389
DMHS部署实践（Oracle→DM8）1 安装工作2 系统配置3 启动DMHS实现数据同步
dmhs oracle11G同步dm8
weixin_45767067的博客
12-11 198
1 oracle开启归档切换用户（尽量使用以下带 - 的方式切换用户）创建目录连接数据库# 关闭数据库服务# 以 mount 方式启动 oracle 数据库# 开启归档# 设置归档文件路径（如果使用本地路径存放归档日志，需要将 db_recovery_file_dest 参数置空，然后设置 log_archive_dest 参数# 恢复为 open 状态# 再次检查归档4.2 开启附加日志。
DMHS-ORACLE RAC 到 DM主备双向同步
05-11
DMHS-ORACLE RAC 到 DM主备双向同步的相关配置文件
Oracle到DM8移植报告
最新发布
07-26
Oracle 到 DM8 移植报告 ...本报告详细介绍了将 Oracle 数据库迁移到 DM8 平台的过程，涵盖了移植前的准备、安装 DM8 和 Oracle、配置 DMHS 服务、验证同步效果等多个方面，为读者提供了一个详细的移植指南。
基于JDBC同步Oracle到MySQL
10-18
分别有：数据源配置、数据表结构转换、字段更新、数据迁移、根据oracle SQL的UPDATE DELETE 事物执行记录转为Mysql可执行SQL，同步执行到MySql数据库，此项目为个人兴趣爱好练手项目，项目问题欢迎留言，共同进步...
国产化改造，如何将Oracle数据完整迁移到DM数据库。
10-08
国产化改造，如何将Oracle数据完整迁移到DM数据库。 本文将详细介绍将Oracle数据完整迁移到DM数据库的过程，包括分析待移植系统、数据迁移、PL/SQL移植、移植结果校验、应用系统移植、测试和优化等几个方面的工作。...
DM8与Oracle12c兼容性白皮书.pdf
03-02
为了方便用户的移植，DM实现了很多Oracle独特的功能和语法，很多Oracle的应用可以不用修改而直接移植到DM上面。Oracle兼容性方面实现的功能包括：ROWNUM表达式、多列IN语法、层次查询、外连接语法“（+）”、INSTEAD...
【DMHS】dmhs部署ORACLE到达梦
m0_49267280的博客
11-24 383
Dmhs部署 ———————— 达梦软件与ODBC已安装完成 —————————————— 目的端部署 [dmdba@localhost dmhs]$ ./dmhs_V4.1.48_dm8_rev102088_FTarm_kylin4_64_veri_20210914.bin -i Extract install files… 1.英文(English) 2.简体中文(简体中文) 请选择安装语言[2.简体中文(简体中文)]: /tmp/DMHSInstall/install.log 1.免费试用达梦数据实时
DMhs部署 oracle-dm
weixin_43642661的博客
09-28 234
当源端oracle，日志存储在FS模式下面时，需要申请对应操作系统源端为oracle的dmhs版本。 目的端为DM7时，需要申请对应操作系统的执行端为dm7的dmhs版本。 1.环境检查 1.1 源端环境检查 1）用户检查 （1）运行用户 运行用户的要求，要求使用oracle用户或者和oracle同一组的用户，一般系统如果有oracle用户权限控制，则要求给出一个和oracle同组的用户。 检查用户属主 [dmhs@slb ~]$ id uid=504(dmhs) gid=505(dmhs) 组=505(d
Oracle11g-DM7 使用DMHS进行数据同步
weixin_42447367的博客
08-31 263
进入dmhs文件夹下的bin目录 源端及执行端运行 DMHS 软件工具 dmhs_server。 执行端运行 DMHS 软件工具 dmhs_console，连接执行端 DMHS 服务， 控制台管理 工具中执行如下 DMHS 命令： connect ip:mgr_port 启动日志执行模块， 控制台管理工具中执行如下 DMHS 命令： start exec 源端运行 DMHS 软件工具 dmhs_console，连接源端 DMHS 服务， 设置日志捕获模 块起始 LSN。 源端在控制台输入 clear e.
ORACLE-DM的dmhs搭建
qq_45426150的博客
09-08 317
ORACLE-DM的dmhs搭建 文章目录ORACLE-DM的dmhs搭建环境准备一、环境检查源端环境检查用户环境变量字符集环境变量连接用户权限归档日志的检查目的端检查二、配置dmhsoracle源端配置DM目的端配置启动服务 环境准备 源端需要申请对应操作系统数据库为oracle的dmhs版本 目的端需要申请对应操作系统数据库为dm8的dmhs版本 一、环境检查 源端环境检查 用户 运行用户的要求，要求使用oracle用户或者和oracle同一组的用户，一般系统如果有oracle用户权限控制，则要
配置DMHS实时同步（DM＞＞DM）
qq_45222081的博客
09-25 683
Dmhs(dm->dm)安装部署
DMHS搭建：Oracle源端--＞DM8目的端
weixin_61894388的博客
02-18 925
目录 一、源端：Oracle 11g（IP：192.168.222.142） 1. 创建用户与规划路径 2. 静默安装Oracle数据库： 3. 解压dmhs安装包 4. 修改环境变量 5. 配置数据库服务网络服务名 6. 开启归档及附加日志 7. 创建数据库用户dmhs 8. 配置源端dmhs.hs文件 二、目的端：DM8（IP：192.168.222.141） 1.创建用户与规划路径： 2.安装dm8数据库： 3.解压dmhs安装包： 4.修改环境变量： 5. 配置目...
oracle-dm-dmhs部署实施
yzydba913390358的博客
10-09 225
1.前期准备工作 1.1 环境说明： 192.168.56.5 oracle端 192.168.56.9 dm8端 1.1.1 关闭selinux以及防火墙 systemctl start firewalld.service#启动firewall systemctl stop firewalld.service#停止firewall systemctl disable firewalld.service#禁止firewall开机启动-----------linux7以上 Serviece stop ipta
达梦DMHS安装与配置（Oracle到DM8）
dcps75321的博客
01-06 1712
DMHS介绍 DMHS主要有3个模块 CPT，日志分析，捕获并装载源端数据库的redo日志，会连接源端数据库。 NET，消息发送，将CPT捕获的内容发往EXEC。 EXEC，数据入库，将收到的内容进行执行，会连接目的端数据库。 另有一个模块用于管理上方这3个模块——MGR，它可以启动并加载这3个模块，类似个中控台。 NET模块一般在网络有物理隔离，或需要跨网段传输时使用，我们常用它的子模块，后续说明。 DMHS可以装在源端或目的端机器上，也可以单独装在其他机器上，根据情况而定。 有
Oracle GoldenGate中如何配置oracle表到oracle表到数据同步
06-09
要在Oracle GoldenGate中实现Oracle表到Oracle表的数据同步，需要按照以下步骤配置： 1. 创建OGG用户和OGG数据目录 首先需要创建OGG用户和OGG数据目录，可以使用以下SQL语句创建OGG用户，并授予必要的权限： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值