DMETL学习部署文档

准备工作：
准备两台虚拟机A机器与B机器，安装达梦数据库软件，A机器上初始两个实例，一个端口号为5236，另一个为5237。B机器上初始一个实例，端口号为5236。注册服务并启动。
A与B机器任选一台安装dmetl软件：
[root@dm7 opt]# ./dmetl_linux.x86_64_V4.0.2.77.20190807.bin -i
Extract install files…
1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:2
1.免费试用达梦数据交换平台
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据交换平台]:1
免费试用Key文件限制信息如下:
有效日期:2020-08-13
用户名称:ETL试用用户
版本类型:标准版
数据源数目:无限制
硬件ID:无限制
1.标准版
2.自定义
安装类型[1.标准版]:1
1.服务器
2.客户端
所需磁盘空间:1,311 MB
安装目录: [/opt/dmetl]
正在安装
正在创建快捷方式
安装成功
1.使用内置数据库
2.使用外置数据库
数据库类型:[1.使用内置数据库]:2
1.DM6
2.DM7
3.Oracle
4.SqlServer
5.DB2
6.Mysql
数据库类型:[2.DM7]:
数据库IP:localhost
数据库端口:5236
数据库名称:默认
用户名:SYSDBA
使用默认连接信息?[Y or N]n
数据库IP:[localhost]
数据库端口:[5236]5237
数据库名称:[默认]DAMENG
用户名:[SYSDBA]
密码:SYSDBA
初始化元数据库[Y or N]:Y
导入示例工程[Y or N]:N
正在检测初始化环境
正在配置元数据库信息
正在初始化元数据库
达梦数据交换平台服务
1.自动
2.手动
启动方式:[2.手动]
正在创建达梦数据交换平台服务
达梦数据交换平台 V4.0 安装完成
更多安装信息，请查看安装日志文件:
/opt/dmetl/log/install.log

安装完毕之后，打开dmetl控制台工具，启动dmetl服务。元数据库是作为存储dmetl产生的信息的数据库，也可选择内置库，但为方便管理建议选择外置库。

一．DMETL两单机之间实现双向同步功能

1. 管理工具登录机器A的5236数据库，创建表并插入数据。
   create table cfq_sxfz11 (c1 int primary key , c2 double, c3 char(20), c4 varchar(30),c5 datetime);
   INSERT INTO cfq_sxfz11 VALUES (1,1.1,‘etl’ ,‘test’ ,‘2009-12-11 15:05:12’);
   INSERT INTO cfq_sxfz11 VALUES (2,2.2,‘etl’ ,‘test’ ,‘2009-12-12 15:05:12’);
   INSERT INTO cfq_sxfz11 VALUES (3,3.3,‘etl’ ,‘test’ ,‘2009-12-13 15:05:12’);
   Commit;

2. 管理工具登录机器B的5236数据库，创建表并插入数据。
   create table cfq_sxfz21 (c1 int primary key, c2 double, c3 char(20), c4 varchar(30),c5 datetime);
   INSERT INTO cfq_sxfz21 VALUES (4,4.4,‘etl’ ,‘test’ ,‘2009-12-11 15:05:12’);
   Commit;

3. 打开达梦数据交换设计器，密码默认admin
   

4. DMETL数据交换设计器配置A机器5236数据库和B机器5236数据库的数据源
   

写上A与B机器主机名（ip）及用户密码，改数据源名称方便辨识。然后测试连接成功后确认。如果是一端是主备集群等环境，主机名写服务名即可。

5. 分别添加表cfq_sxfz11和cfq_sxfz21
   
   

6. 分别添加触发器增量，勾选双向复制选项
   
   

7. 创建转换1： A-B

在界面的右边选择数据读取和数据装载下的增量表，然后用绿线连接起来。双击增量表配置。
记得点击设为首次同步。

增量源配置如下：

增量目的如下：

8. 创建转换B-A
   
   

增量源配置如下：

增量目的如下：

9. 创建作业
   
   

转换源配置：

转换目的配置：

10. 执行作业
    执行作业前先把sysdba模式下的表级触发器的触发器体红色的SYSDBA改为TEST，不然无法第二次同步。
    
    

11. 管理工具中查看数据是否同步过来。
    
    

12. 在两边进行insert、update、delete操作，测试是否可以多次同步。
    A机器插入数据，然后去执行作业。
    INSERT INTO cfq_sxfz11 VALUES (5,5.5,‘etl’ ,‘test’ ,‘2009-12-13 15:05:12’);
    update cfq_sxfz11 set c2=11.11 where c1=1;
    delete from cfq_sxfz11 where c1=3;

二．数据清洗
1.在桌面上创建一个名为test的excel表，内容如下：

2.将excel文件添加到数据源中

3.创建转换qx

4.清洗配置
excel配置：

清洗配置：
添加下列两种清洗规则

目的表配置：
可以选择浏览，将已经添加到数据源的表作为目的表，也可选择创建新数据集。

然后执行作业，检查表t4：

三、联合查询
点击设计中的工程

左边工程栏右键选择新建，选择设计

选择已经连接上的库和表，直接拖放（联合查询选择含相同列的表）

（拉出绿色箭头默认输出到联合查询）

在表处右键选择联合查询的列和表信息

右键join选择联合属性，选择相同列

输出结果文本

右键选择路径和格式等

路径文件记录合并结果，可以在路径下查找文件