使用DM8 数据库迁移工具(DTS)进行数据迁移

使用DM8 数据库迁移工具(DTS)进行数据迁移

DM8提供了高效、策略可定制、可容错的数据迁移工具(DTS)，用于用户和开发人员从不同的数据库、文件数据源向DM进行数据迁移。
DM8数据迁移工具提供了并行化数据迁移、批量数据快速加载等特性，以加速大规模数据的迁移。同时DM8迁移工具可以为每个迁移对象制定独立的迁移策略，如提交批大小、索引迁移选项等，并允许将迁移策略应用到批量的对象。对于迁移过程中出现的异常情况，DM8迁移工具能够记录并保存异常信息，并按策略要求继续执行无相关性的后续迁移任务，改善迁移工作的流畅性。
本文以MySQL(运行环境：mariadb 5.5，64位，操作系统CentOS 7 64位)数据库向DM8迁移为例，通过DTS工具来讲述整个迁移过程。

• 创建MySQL待迁移示例数据

在test数据库中创建compute表，过程如下。

MariaDB [(none)]> use test
Database changed
MariaDB [test]> CREATE TABLE compute (username varchar(20) not null,passwd varchar(20) not null);
Query OK, 0 rows affected (0.01 sec)

MariaDB [test]> INSERT INTO compute VALUES('tom','233');
Query OK, 1 row affected (0.00 sec)

MariaDB [test]> INSERT INTO compute VALUES('zhang','789');
Query OK, 1 row affected (0.01 sec)

MariaDB [test]> INSERT INTO compute VALUES('lee','643'); 
Query OK, 1 row affected (0.00 sec)

MariaDB [test]> select * from compute;
+----------+--------+
| username | passwd |
+----------+--------+
| tom      | 233    |
| zhang    | 789    |
| lee      | 643    |
+----------+--------+
3 rows in set (0.00 sec)

• 启动DTS工具

在安装目录tool文件夹下，执行dts，弹出应用程序界面。界面打开后，首先需要新建一个工程。如下图示：

新建迁移项目后，左侧列表栏出现迁移、作业、调度、数据类型映射4个类别，通过创建配置这4项，完成数据迁移工作。
首先新建迁移项目，命名并选择启用。

迁移项目建立过程中，弹出DTS使用提示，如下图示：

完整的提示如下：

DM data transform tools support:
1. Transform schema ,table ,view ,sequence ,index of  main stream databse like Oracle ,SQLServer,MySQL,DB2,PostgreSQL,Informix,Kingbase,Sybase to DM .
2. Transform schema ,table ,view from ODBC,JDBC TO DM.
3. Transform schema ,table ,view ,sequence ,index  from DM TO main stream databse like Oracle ,SQLServer,MySQL.
4. Transform schema ,table ,view ,sequence ,index,function,trigger,object privilege between DM database.
5. Transform DM's  schema ,table ,view ,sequence ,index,function,trigger,object privilege to Xml file.
6. Transform DM's  schema ,table ,view ,sequence ,index,function,trigger,object privilege to Sql file.
7. Transform table ,view data of DM to Text file.
8. Transform table ,view data of DM to Excel file.
9. Transform table ,view data of DM to Word file.
10. Transform Sql  file data to DM.
11. Transform Xml file data to DM.
12. Specific format data  from Text file,Word file and Excel file to DM databse

选择不同平台的迁移类别。这个示例中，我们选择MySQL==>DM。

与待迁移库建立连接：

建立与目标库的连接：

选择迁移模式，包括迁移对象，迁移方法，出错处理，多线程等项。


配置完成后，出现迁移项目概览。


配置完成后，开始迁移，过程如下：

迁移完成后，可以查看日志， 了解迁移过程中是否有问题出现。

目标库中查看迁移后的数据，确认迁移结果。

在目标库中查看对象创建时间。

在迁移日志中查看对象迁移时间。

通过时间上的对比和数据内容的验证，结合迁移过程中的日志，确认迁移过程顺利。

如果用户有自动化过程迁移需求，可以配置作业，调度计划等，完成迁移过程自动执行。如下图配置项：

本文通过一个简单的例子，展示了DM DTS工具的基本使用过程，当然复杂系统的迁移需要更细致的评估、更完善的方案和迁移失败时的回退预案。为保证在数据类型和精度上的一致性，可能还需要配置数据类型映射等。