【达梦8】mysql迁移测试

于 2024-07-02 19:05:02 发布
阅读量752 收藏 18
点赞数 25
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45335507/article/details/140134243
版权

迁移概述

（1）分析待移植系统，确定移植对象
（2）通过数据迁移工具DTS完成常规数据库对象以及数据的迁移
（3）DM 数据库和 MySQL 体系结构上存在差异，SQL 语法也存在一定的差异
（4）移植完成后对移植的结果进行校验，确保移植的完整性和正确性
（5）对应用系统进行移植、测试和优化

迁移前准备

1、统计mysql信息

迁移前先统计出需要迁移的库中的对象，提前了解迁移数据量、迁移数据对象、迁移数据类型为考虑迁移时长、周期提供依据。

1）确认mysql目标与参数

在这里插入图片描述

—查看参数设置
mysql> show variables;
—查看参数文件
[mysql@mysql test_db]$ vim /mysql/3306/my.cnf

2）统计数据对象

（1）统计目标database表数量

SELECT COUNT(*) TABLES, TABLE_SCHEMA FROM INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = ‘employees’ GROUP BY TABLE_SCHEMA;
在这里插入图片描述

（2）统计目标database视图数量

SELECT TABLE_SCHEMA,COUNT(*) VIEWS FROM INFORMATION_SCHEMA.VIEWS WHERE TABLE_SCHEMA = ‘employees’ GROUP BY TABLE_SCHEMA;
在这里插入图片描述

（3）统计目标database函数、存储过程、触发器数量

—统计函数
SELECT SPECIFIC_NAME FROM INFORMATION_SCHEMA.ROUTINES
WHERE ROUTINE_TYPE=‘FUNCTION’ AND ROUTINE_SCHEMA=‘employees’;
—统计触发器
SELECT TRIGGER_SCHEMA,TRIGGER_NAME FROM INFORMATION_SCHEMA.TRIGGERS
WHERE TRIGGER_SCHEMA= ‘employees’;
—统计存储过程
SELECT SPECIFIC_NAME FROM INFORMATION_SCHEMA.ROUTINES
WHERE ROUTINE_TYPE=‘PROCEDURE’ AND ROUTINE_SCHEMA=‘employees’;
在这里插入图片描述

（4）创建辅助表

—创建辅助表
CREATE TABLE MYSQL_TABLES(TAB_OWNER VARCHAR(100),TAB_NAME VARCHAR(100),TAB_COUNT INT);
—统计各表数据量
INSERT INTO MYSQL_TABLES SELECT TABLE_SCHEMA,TABLE_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = ‘employees’ ORDER BY TABLE_ROWS DESC;
—查看各表数据
select * from MYSQL_TABLES
在这里插入图片描述

2、目的端达梦的创建

1）选择合适的版本

（1）建议使用当前最新版本的数据库，以保证功能全面和兼容性更强
（2）版本优先选择安装完整版
（3）版本与硬件环境一定要严格匹配，以减少干扰性的问题出现

2）选择合适的初始化参数

（1）页大小：数据页大小。页大小设置越大，最后数据文件的物理大小就越大，系统运行时每次从磁盘调入内存的数据单位就越大。
（2）簇大小：数据文件使用的簇大小
（3）大小写敏感： MYSQL 设置大小写敏感的细粒度可到字段级别，达梦是实例级别的，一旦设置，后续不可修改
（4）字符集： MYSQL 建表默认的字符编码是 UTF8_GENERAL_CI，所以建议在 MYSQL 迁移到 DM 时，在达梦端设置成大小写不敏感 CASE_SENSITIVE=0。如果 MYSQL 系统中使用的字符编码是 UTF8_GENERAL_CS，那么建议达梦端设置成大小写敏感 CASE_SENSITIVE=1。
（5）LENGTH_IN_CHAR：MYSQL4.0 以下版本以字节为单位，5.0 以上版本以字符为单位，当前一般是 5.0 以上，所以一般选择设置 1，该参数只能初始化阶段设置，后续不能修改。

3）配置合适的INI参数

（1）buffer和max_buffer：根据服务器运行服务所占资源进行分配，避免DM征用系统大量内存资源导致其他应用受影响。建议物理内存一半，且buffer=max_buffer。
（2）max_sessions：根据MySQL实际应用连接情况设置，避免迁移后创建连接过多导致的应用无法连接。
（3）ORDER_BY_NULLS_FLAG：控制排序时NULL值返回的位置，取值0、1、2。0表示 NULL 值始终在最前面返回；1表示ASC升序排序时 NULL 值在最后返回，DESC降序排序时NULL值在最前面返回，在参数等于1的情况下，NULL值的返回与 ORACLE 保持一致；2表示ASC升序排序时NULL值在最前面返回，DESC降序排序时 NULL 值在最后返回，在参数等于2的情况下，NULL值的返回与MYSQL保持一致。
（4）compatible_mode：0不兼容；1兼容SQL92标准；2兼容oracle；3兼容MS SQL SERVER；4兼容mysql；5兼容DM6；6兼容Teradata。4表示部分语法兼容mysql，重启数据库生效

4）设置合理的日志参数

扩大在线日志文件。在dts迁移过程中涉及到大量的读写操作，为避免redolog频繁切换，建议增大。

5）创建用户和表空间

（1）创建新的用户和表空间，不要把迁移数据迁移到系统管理员用户下和main表空间下
（2）明确源端要迁移的用户，在目标端创建对应的用户和表空间
（3）明确用户对象，并不是所有的用户对象都需要迁移
（4）避免多个分区表使用一个表空间导致过快达到maxsize
（5）明确目标用户所拥有的权限，避免后期因权限问题导致的对象无法操作

3、制定迁移计划

（1）选择合理的迁移顺序：先序列，再表，最后视图
（2）对于数据量大的表单独迁移
（3）对于分区表若数据量没有超过1亿建议迁移成普通表，在分区列上创建索引
（4）对于大字段较多的表，需修改批量提交的行数，避免迁移工具内存溢出

4、迁移前评估

通过DTS工具的评估模块对源端数据库进行迁移评估，包括数据对象和 SQL ，最终形成迁移评估报告。可通过迁移评估报告提前了解哪些数据对象或 sql 需要单独处理，方便后续迁移的顺利进行。

1）评估测试

—新建迁移评估
在这里插入图片描述
—连接源端MySQL
在这里插入图片描述

注：
当使用达梦迁移工具连接 mysql 5.7 时可能报错：“Communications link failure The last packet successfully received from the server was 20 milliseconds ago. The last packet sent successfully to the server was 20 milliseconds ago.”。

遇到报错时可进行以下排查：
（1）排查是否为网络问题导致连接不上 mysql 数据库，检查网络端口是否开放
（2）排查 mysql 数据库最大连接数设置或者连接超时问题
（3）是否由 SSL 协议导致，若是可进行如下操作，在URL里面添加&useSSL=false&，不进行SSL连接，通过账号密码进行连接。

2）选择评估项

—进行评估选项
在这里插入图片描述
—选定评估目标
在这里插入图片描述
在这里插入图片描述

3）获取评估信息

—源端信息预览
在这里插入图片描述
—评估结果
在这里插入图片描述

从评估结果中可以看到，源端的评估存在不兼容的情况，仔细查看日志，发现源端不兼容的对象是由于不存在相关表所造成的。在后面的正式迁移过程中，可以对该对象进行单独的处理。

迁移测试

1、确认源端MySQL信息

可通过DTS工具的评估模块获取源端MySQL信息。
在这里插入图片描述

2、创建目标端DM实例

—初始化实例
dminit PATH=/dmdata DB_NAME=my57 INSTANCE_NAME=my57 SYSDBA_PWD=dameng123 SYSAUDITOR_PWD=dameng123 PAGE_SIZE=16 EXTENT_SIZE=32 LENGTH_IN_CHAR=0 LOG_SIZE=1024 CASE_SENSITIVE=N CHARSET=1 PORT_NUM=8236
—实例启动测试
[dmdba@dm ~]$ /dmsoft/dmdbms/bin/dmserver /dmdata/my57/dm.ini
—修改ini参数（测试环境内存为4G）
Vim /dmdata/orcl/dm.ini
MAX_OS_MEMORY = 80
BUFFER = 2000
COMPATIBLE_MODE = 4
ORDER_BY_NULLS_FLAG=2
—修改日志大小
SQL> select * from v$rlogfile;
SQL> alter database resize logfile ‘my5701.log’ to 2048;
SQL> alter database resize logfile ‘my5702.log’ to 2048;
—创建用户和表空间
SQL> create tablespace emp DATAFILE ‘emp.DBF’ size 128 autoextend on next 1024 maxsize 65536;
SQL> create user employees identified by “dameng123” default tablespace emp;

3、DTS连接

1）选择迁移类别

在这里插入图片描述

2）测试源端连接

在这里插入图片描述

3）测试目标端连接

在这里插入图片描述

4、选择迁移目标

在这里插入图片描述

—这里不需要创建模式，在准备过程中创建用户时已经创建
在这里插入图片描述

5、迁移目标

1）迁移表

在这里插入图片描述
在这里插入图片描述

2）迁移视图

在这里插入图片描述
在这里插入图片描述

3）迁移剩余对象

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在之前的迁移评估时，最终的评估信息显示会有一个存储过程的报错，在迁移剩余对象时果然出现了报错，通过错误信息获取创建语句进行单独处理。

迁移后注意

1、统计目的端对象和数据

1）统计表和数据量

—创建统计表
create table table_count (owner varchar(100),table_name varchar(100),cnt int);
—统计各表数据量
declare
v_owner VARCHAR2(100);
v_tabname VARCHAR2(100);
stmt VARCHAR2(200);
num_rows number;
begin
for rec in (select owner,table_name from dba_tables where owner=‘EMPLOYEES’ order by 1, 2)—owner根据实际情况调整
loop
select rec.owner,rec.table_name into v_owner,v_tabname from dual;
stmt := ‘select count(*) from "’ || v_owner || ‘“.”’ || v_tabname || ‘"’;
EXECUTE IMMEDIATE stmt INTO num_rows;
EXECUTE IMMEDIATE ‘insert into table_count values(’‘’||v_owner||‘’‘,’‘’||v_tabname||‘’‘,’‘’||to_number(num_rows)||‘’‘)’;
end loop;
end;
—查询验证数据量
select * from “SYSDBA”.“TABLE_COUNT”;
在这里插入图片描述

2）统计对象

—查询并统计迁移对象
SELECT
A.USERNAME “用户名”,
(SELECT COUNT(1) FROM DBA_TABLES B WHERE B.OWNER = A.USERNAME) “表数量”,
( SELECT COUNT(1) FROM DBA_VIEWS G WHERE G.OWNER = A.USERNAME ) “视图数量”,
( SELECT COUNT(1) FROM DBA_TRIGGERS H WHERE H.OWNER = A.USERNAME ) “触发器数量”,
( SELECT COUNT(DISTINCT I.NAME) FROM DBA_SOURCE I WHERE I.OWNER = A.USERNAME AND I.TYPE = ‘FUNCTION’ ) “函数数量”,
( SELECT COUNT(1) FROM DBA_SEQUENCES J WHERE J.SEQUENCE_OWNER = A.USERNAME ) “序列数量”,
( SELECT COUNT(DISTINCT L.NAME) FROM DBA_SOURCE L WHERE L.OWNER = A.USERNAME AND L.TYPE = ‘PROCEDURE’ ) “存储过程数量”,
( SELECT COUNT(1) FROM DBA_DB_LINKS M WHERE M.OWNER = A.USERNAME ) “DBLINK数量”,
( SELECT COUNT(1) FROM DBA_INDEXES I WHERE UNIQUENESS = ‘UNIQUE’ AND OWNER =A.USERNAME OR INDEX_NAME NOT LIKE ‘INDEX335%’ AND OWNER =A.USERNAME) “索引数量”,
( SELECT COUNT(1) FROM DBA_OBJECTS WHERE OBJECT_TYPE=‘TYPE’ AND OWNER =A.USERNAME OR OBJECT_TYPE=‘CLASS’ AND OWNER =A.USERNAME ) “自定义类型”,
( SELECT COUNT(1) FROM DBA_OBJECTS WHERE OBJECT_TYPE=‘PACKAGE’ AND OWNER =A.USERNAME) “PKG数量”
FROM
DBA_USERS A WHERE A.USERNAME IN (‘EMPLOYEES’);
在这里插入图片描述

2、更新统计信息

数据核对完成后，应进行一次统计信息的更新。更新统计信息的目的是，在大批量迁移数据后，可能会导致数据库优化器根据错误的统计信息得到错误的查询计划，从而影响最终的查询结果。

SQL> call DBMS_STATS.GATHER_SCHEMA_STATS(‘EMPLOYEES’);

3、数据备份

在数据更新完统计信息后，在磁盘空间充足的情况下进行一次数据备份。

RMAN> backup database ‘/dmdata/my57/dm.ini’ full backupset ‘/dmbak/my57_full’;

4、开启SQL日志

数据库和应用系统迁移完成后开启SQL日志，对系统进行全方面测试，排查迁移过程中错误的地方，对慢SQL语句进行优化。在测试完成后要关闭追踪日志。

—开启SQL追踪
SP_SET_PARA_VALUE(1,‘SVR_LOG’,1);
—关闭SQL追踪
SP_SET_PARA_VALUE(1,‘SVR_LOG’,0);

社区地址：https://eco.dameng.com

阿明酱啊
关注
  • 25
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
测试达梦DTS迁移MySQL至达梦
qq_40135088的博客
12-14 1237
仅为个人学习记录 1一、准备 MySQL端口3306，达梦库端口6379 1、准备MySQL数据表 编码utf-8，字段名也是中文，数据同样是中文 2、准备达梦库，为0使用GB18030，1的话是UTF-8 二、配置开始迁移 1、打开达梦数据迁移工具 2、新建工程 3、新建迁移任务 4、配置迁移任务 （1）向导下一步 （2）选择MySQL到达梦 （3）配置源库MySQL连接信息 ...
数据库迁移性能测试方案（实例）
05-17
数据库迁移性能测试方案（实例） 本次性能测试项目特点是对数据库迁移前后两种数据库下的系统进行性能测试，需要对两种数据库下性能指标进行对比分析
数据库迁移测试--平移
笑々笑的博客
06-07 818
import pymysql import decimal import datetime import json class DecimalEncoder(json.JSONEncoder): def default(self,obj): if isinstance(obj,decimal.Decimal):#decimal类型转换，使其可以转换为json格式数据 ...
数据迁移测试经验分享
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
03-15 584
除了考虑新系统的规则变化，还要考虑旧数据迁移后需要进行规则适配，例如旧系统没有，新系统有的字段，验证是否给到正确的默认值。保证旧系统数据迁移后业务的可用性与连续性，避免迁移后需重新回滚测试。接下来，我们将详细介绍数据迁移的测试策略及测试实施，话不多说，上干货~
数据迁移测试
heart_1014的博客
09-05 2213
数据迁移测试的关注点
xxl-job适配达梦数据库
02-02
在适配达梦数据库之前，XXL-JOB通常默认使用MySQL或者Oracle等常见数据库，但通过修改数据库脚本和配置，可以支持其他数据库系统，包括DM8。 为了将XXL-JOB与达梦数据库进行适配，你需要执行以下几个步骤： 1. **...
mysql_oracle_dm整库数据迁移相关资料.rar
05-10
8. **测试与验证**：迁移完成后，需要进行详尽的测试，确保新数据库的正常运行和数据的正确性。这包括功能测试、性能测试和兼容性测试。 9. **应急预案**：在迁移过程中可能出现各种问题，因此需要提前制定应急预案...
达梦6安装包下载 DM6.zip
04-01
达梦6兼容SQL标准，可以与多种数据库系统进行数据迁移和交互，如Oracle、MySQL等。 9. **高可用性**： 支持集群、复制、故障切换等高可用特性，保证服务的不间断运行。 总的来说，达梦6是一款全面的数据库解决...
mysql初始化SQL转达梦、人大金仓、神州通用（南大通用）SQL脚本
08-23
本文将详细介绍如何将MySQL的初始化SQL脚本转换为适用于达梦、人大金仓和神州通用（南大通用）数据库系统的SQL语句。 首先，MySQL是一种广泛使用的开源关系型数据库管理系统，其SQL语法相对标准化，但与其它数据库...
Mysql 报Row size too large 65535 的原因及解决方法
09-10
MySQL中的“Row size ...在实际操作前，最好先备份数据，并在测试环境中进行试验，以确保改动不会对应用程序的正常运行造成影响。同时，持续学习和了解MySQL的最佳实践，可以帮助你在设计数据库时避免这类问题的发生。
数据迁移测试 - 数据库
Orange_hhh的博客
03-18 1282
数据迁移测试是确保在数据迁移期间，从一个系统到另一个系统的数据迁移是正确和完整的。
MySQL数据库迁移测试
最新发布
C'mon的博客
03-20 815
知道上述差异后我们就可以拟定测试方案了，因为一般在数据迁移的过程中表结构多多少少有些变更，我们再迁移关系中确定对比关系后就知道怎么展开测试了，当然一般数据库中的数据都不会少，所以如果肉眼去对比的话既耗时也不准确，很容易看错，所以最好的办法还是设计脚本进行数据对比。这种关系一般比较简单就是从一个表迁移到另外一个表，大部分字段也会保持一致，会有很少的字段发生变化，这个时候只需要根据相应的字段进行新旧表关联数据查询即可查询出旧表关联的新数据，进而进行数据对比。确定对比字段时一般以旧表字段为对比字段。
数据迁移测试记录
weixin_30532987的博客
07-01 231
1. 确认迁移范围： 确认影响范围，整理迁移前的表结构和迁移后的表结构 旧表和新表字段匹配、值匹配关系确认 存储过程、触发器、索引校验 确认迁移方案，一次迁移或多次增量迁移，迁移时的逻辑覆盖 数据精度、字符串长度、时间格式、null值转化、空字符串转化、特定格式校验 旧系统有，新系统没有的字段进行验证，此字段不迁移的影响评估 旧系统没有，新系统有的字段，验证是否给正确的默认值 ...
MySQL到达梦8数据迁移
g360382的博客
11-29 1202
MySQL到达梦8数据迁移迁移过程1 新建工程1.1 新建迁移1.2 选择迁移方式及数据源、目的库1.3 指定对象复制或查询1.4 选择迁移对象1.5 审阅迁移任务验证数据 本次数据迁移采用MySQL 5.7.26版本，迁移目标为本机win10系统达梦8版本。迁移工具使用达梦数据迁移工具（DTS）。 迁移过程 1 新建工程 1.1 新建迁移 使用达梦迁移工具DTS（图形化界面，linux系统dts工具在达梦安装目录下tool文件夹内dts工具，执行./dts），打开工具后，新建工程。 打开新建的工程，选择迁
一文读懂如何做数据迁移测试
09-03 882
除了考虑新系统的规则变化，还要考虑旧数据迁移后需要进行规则适配，例如旧系统没有，新系统有的字段，验证是否给到正确的默认值。保证旧系统数据迁移后业务的可用性与连续性，避免迁移后需重新回滚测试。接下来，我们将详细介绍数据迁移的测试策略及测试实施，话不多说，上干货~
关于数据迁移，测试应该做什么？
主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。
09-26 2489
本文主要总结分享比较场景的数据迁移场景，业务线合并，2个系统的用户数据进行关联的场景。
达梦数据库 迁移mysql数据库
09-04
达梦数据库是一种支持大规模数据存储和处理的数据库管理系统。要将MySQL数据库迁移到达梦数据库，我们需要以下步骤： 1.备份MySQL数据库：首先，我们需要使用MySQL提供的备份工具对数据库进行备份，以确保数据的完整性和安全性。 2.安装达梦数据库：在目标服务器上安装达梦数据库，并确保数据库可以正常工作。根据操作系统的要求进行安装，一般包括下载安装文件、运行安装程序和配置数据库参数。 3.转换数据：使用达梦数据库提供的数据迁移工具（如dmt2dmd）将MySQL数据库中的数据转换为达梦数据库所需的格式。这个工具可以将MySQL的表、视图、索引、触发器等对象转换为达梦数据库可以识别的格式，保持数据的一致性。 4.迁移数据：将转换后的数据导入到达梦数据库中。使用达梦提供的数据导入工具（如dmloader）将数据文件导入到达梦数据库中，确保数据的完整性和一致性。 5.测试和验证：迁移完成后，对达梦数据库进行测试和验证，以确保迁移过程没有出现问题，并且数据可以正常访问和操作。在此过程中，可以检查数据的完整性、查询性能和应用程序的稳定性。 6.切换应用程序：在确认达梦数据库工作正常后，可以通过更新应用程序的数据库连接信息，将应用程序指向达梦数据库。在切换之前，可以先进行一段时间的并行测试，确保应用程序在新的数据库上运行正常。 通过以上步骤，我们可以成功地将MySQL数据库迁移到达梦数据库。迁移过程需要仔细规划和执行，以确保数据的完整性和一致性，并减少应用程序的停机时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值