Oracle迁移达梦实践过程

execute IMMEDIATE 'insert into oracle_tables select ''' || rec.owner || ''',''' || rec.object_name || ''',count(*) from ' || rec.owner || '.' || rec.object_name;

EXCEPTION

WHEN others THEN

dbms_output.put_line ( rec.owner || '.' || rec.object_name || 'get count error' );

END;

END loop;

END;

select * from oracle_tables;

2.迁移准备

2.1.注意事项

数据库参数检查：

字符集需要注意默认采用GB18030
大小写需要敏感
修改达梦数据库兼容ORACLE参数
需要使用单独的业务表空间，创建用户和表空间
生产环境建议创建30G一个数据文件，关闭自动扩展

2.2.检查基本参数

select '实例名称' 数据库选项,INSTANCE_NAME 数据库集群相关参数值 FROM v$instance union all

select '数据库版本',substr(svr_version,instr(svr_version,'(')) FROM v$instance union all

SELECT '字符集',CASE SF_GET_UNICODE_FLAG() WHEN '0' THEN 'GBK18030' WHEN '1' then 'UTF-8' when '2' then 'EUC-KR' end union all

SELECT '字符数据类型' NAME, CASE VALUE WHEN 0 THEN 'BYTE' WHEN 1 THEN 'CHAR' end FROM v$parameter WHERE name like '%LENGTH_IN_CHAR%' union all

SELECT '页大小',cast(PAGE()/1024 as varchar) union all SELECT '簇大小',cast(SF_GET_EXTENT_SIZE() as varchar) union all

SELECT '大小写敏感',cast(SF_GET_CASE_SENSITIVE_FLAG() as varchar) union all

select '数据库模式',MODE$ from v$instance union all

select '唯一魔数',cast(permanent_magic as varchar) union all

select 'LSN',cast(cur_lsn as varchar) from v$rlog ;

2.3.检查兼容ORACLE参数

SELECT * FROM V$DM_INI WHERE para_name='COMPATIBLE_MODE';

alter system set 'COMPATIBLE_MODE' = 2 spfile

或者

sp_set_para_value(2,‘COMPATIBLE_MODE’,2);

2.4.检查用户及表空间

SQL> select path from v$datafile;

行号 PATH

---------- ---------------------------

1 /dm/dmdata/erpdb/SYSTEM.DBF

2 /dm/dmdata/erpdb/ROLL.DBF

3 /dm/dmdata/erpdb/TEMP.DBF

4 /dm/dmdata/erpdb/MAIN.DBF

已用时间: 31.840(毫秒). 执行号:36500.

SQL>

生产环境建议创建30G一个数据文件，关闭自动扩展

create tablespace itpux datafile '/dm/dmdata/erpdb/itpux01.dbf' size 30g autoextend off;

alter tablespace ITPUX datafile '/dm/dmdata/erpdb/itpux01.dbf' autoextend off;

--生产环境配置好，可以一次性创建20g大小一个

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux02.DBF' size 1024 autoextend on next 1024 maxsize 30720;

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux03.DBF' size 1024 autoextend on next 1024 maxsize 30720;

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux04.DBF' size 1024 autoextend on next 1024 maxsize 30720;

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux05.DBF' size 1024 autoextend on next 1024 maxsize 30720;

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux06.DBF' size 1024 autoextend on next 1024 maxsize 30720;

alter tablespace ITPUX add datafile '/dm/dmdata/erpdb/itpux07.DBF' size 1024 autoextend on next 1024 maxsize 30720;

--创建索引表空间

create tablespace itpux_idx datafile '/dm/dmdata/erpdb/itpux_idx01.dbf' size 1000 autoextend off;

创建用户并授权

create user "itpux " identified by "itpux123456" default tablespace itpux default index tablespace itpux_idx;

grant dba to itpux;

conn itpux/itpux123456;

3.DTS迁移过程

注意：根据业务数据量，注意迁移方式

1.选择合理的迁移顺序：先迁移序列、再迁移表、最后迁移视图

2.对于数据量大的表单独迁移

3.对于分区表数据量没有超过1亿建议迁移成普通表，在分区列上创建索引

4.对于大字段较多的表，需要修改批量的行数，以免造成迁移工具内存溢出。

3.1.新建迁移任务

选择oracle==》达梦，选择下一步

配置oracle连接

配置目的端参数

3.2.迁移表结构及序列

选择要迁移的表

选择转换只选择表定义与表及字段注释，如下图

然后勾选应用当前选项到其他同类对象后，会弹出下图

确定往下一步，下一步执行

表结构迁移完

3.3.迁移表数据

全选后然后点转换，如下图

注意：大字段读写取行数，可以适当开启并行。不开快速装载

3.4.迁移索引

选择对应的约束

点完成，开始迁移

如下索引迁移完成

3.5.迁移视图、物化视图等

迁移完成

4.核对数据库迁移结果

4.1.统计达梦数据中的对象及表数据量

a. 根据指定用户统计用户下的各对象类型和数目

select object_type,count(*) from all_objects where

owner='ITPUX' group by object_type;

b. 统计指定用户下所有的对象，并记录到新的记录表中

create table dm_objects(obj_owner varchar(100),obj_name varchar(100),obj_type varchar(50));

insert into dm_objects select owner,object_name,object_type from

all_objects where owner='ITPUX';

c. 统计每个表的数据量到表数据记录表（使用DISQL运行）

create table dm_tables(tab_owner varchar(100),tab_name varchar(100),tab_count int);

begin

for rec in

(

select

owner,

object_name

from

all_objects

where

owner ='ITPUX'

and object_type='TABLE'

)

loop

begin

execute immediate 'insert into dm_tables select '''|| rec.owner ||''','''|| rec.object_name ||''',count(*) from '|| rec.owner || '.' || rec.object_name;

exception

when others then

print rec.owner || '.' || rec.object_name || 'get count error';

end;

end loop;

end;

select * from dm_tables;

4.2.比对达梦数据库与oracle数据库差异

a. 比对对象，找出没有迁移的对象

select * from oracle_objects where (obj_owner,obj_name) not in (

select obj_owner,obj_name from dm_objects) --and obj_type='TABLE'

b. 比对表数据量,找出数据量不相等的表

select a.tab_owner,a.tab_name,a.tab_count-b.tab_count from

oracle_tables a, dm_tables b

where a.tab_owner=b.tab_owner and a.tab_name=b.tab_name

and a.tab_count-b.tab_count<>0

4.3.迁移完成之后的收尾工作

更新统计信息，数据核对完成无问题后，应进行一次全库的统计信息更新工作。

统计信息更新脚本示例如下：

DBMS_STATS.GATHER_SCHEMA_STATS( 'ITPUX', FALSE,

'FOR ALL COLUMNS SIZE AUTO');

5.创建定时任务

5.1.检查定时任务

select * from sysjob.sysjobs;

5.2.创建定时

登录数据库执行以下命令，创建作业系统表

SP_INIT_JOB_SYS(1);

全量备份（每周六 23 点全备）：其中有1分钟后的一次性全备调度，执行完成后检查备份是否成功。

call SP_CREATE_JOB('bakfull',1,0,'',0,0,'',0,'');

call SP_JOB_CONFIG_START('bakfull');

call SP_ADD_JOB_STEP('bakfull', 'bak1', 6, '01020000/dmbak', 0, 0, 0, 0, NULL, 0);

call SP_ADD_JOB_SCHEDULE('bakfull', 'std1', 1, 2, 1, 64, 0, '23:00:00', NULL, '2021-11-01 21:17:22', NULL, '');

call SP_ADD_JOB_SCHEDULE('bakfull', 'once', 1, 0, 0, 0, 0, NULL, NULL, sysdate+1/1440, NULL, '');

call SP_JOB_CONFIG_COMMIT('bakfull');

增量备份（每周除周六外每天 23 点增量备份）：

call SP_CREATE_JOB('bakincr',1,0,'',0,0,'',0,'');

call SP_JOB_CONFIG_START('bakincr');

call SP_ADD_JOB_STEP('bakincr', 'bak2', 6, '41010000/dmbak|/dmbak', 0, 0, 0, 0, NULL, 0);

call SP_ADD_JOB_SCHEDULE('bakincr', 'std2', 1, 2, 1, 63, 0, '23:00:00', NULL, '2021-11-01 21:19:30', NULL, '');

call SP_JOB_CONFIG_COMMIT('bakincr');

备份定期删除（每天 23：30 删除 14 天前备份）：

call SP_CREATE_JOB('delbak',1,0,'',0,0,'',0,'');

call SP_JOB_CONFIG_START('delbak');

call SP_ADD_JOB_STEP('delbak','bak1',0, 'SF_BAKSET_BACKUP_DIR_ADD(''DISK'',''/dmdata/dmbak'');call sp_db_bakset_remove_batch(''DISK'',now()-14);', 1, 2, 0, 0, NULL, 0);

call SP_ADD_JOB_SCHEDULE('delbak', 'del01', 1, 1, 1, 0, 0, '23:30:00', NULL, '2020-11-02 14:48:41', NULL, '');

call SP_JOB_CONFIG_COMMIT('delbak');

另外添加自动收集统计信息的任务（每天1点收集全库统计信息）

call SP_CREATE_JOB('statistics',1,0,'',0,0,'',0,'');

call SP_JOB_CONFIG_START('statistics');

call SP_ADD_JOB_STEP('statistics', 'statistics1', 0, 'begin

for rs in (select ''sf_set_SESSION_para_value(''''HAGR_HASH_SIZE'''',(select cast(

case when max(table_rowcount(owner,table_name))<=(select max_value from v$dm_ini

where para_Name=''''HAGR_HASH_SIZE'''') and max(table_rowcount(owner,table_name))>=(

select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') then

max(table_rowcount(owner,table_name)) when max(table_rowcount(owner,table_name))<(

select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') then

(select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') else

(select max_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') end as bigint)

from dba_tables where owner=''''''||NAME||''''''));''

sql1,''DBMS_STATS.GATHER_SCHEMA_STATS(''''''||NAME||'''''',100,TRUE,''''FOR ALL COLUMNS SIZE AUTO'''');''

sql2

from SYS.SYSOBJECTS where TYPE$=''SCH'' ) loop

execute immediate rs.sql1;

execute immediate rs.sql2;

end loop;

end;', 0, 0, 0, 0, NULL, 0);

call SP_ADD_JOB_SCHEDULE('statistics', 'statistics1', 1, 2, 1, 64, 0, '01:00:00', NULL, '2021-06-09 22:54:37', NULL, '');

call SP_JOB_CONFIG_COMMIT('statistics');

6.迁移过程中问题参考

6.1.字符串截断

一般从oracle 迁移到 DM7 的时候，出现字符串截断的一般都是字段中含有中文，出现这种问题是因为 DM7 初始化的时候选择的字符集是 Unicode （即 utf 8 ），该字符集的国际标准是一个汉字占 3 个字节，而 oracle 中默认情况下一个汉字占 2 个字节，此时迁移的时候就会报下面的错误：