DMETL5安装与简单使用

DMETL5安装与使用

目前DMETL5分为两个版本一个是单机版，另一个就是标准版。单机部署，所有的功能运行在一个系统中，只包含一个原生执行器，占有资源少，安装方便，适合小型项目和个人学习试用。多节点部署，可以使用多个执行器节点，不支持使用大数据处理执行器节点。适用数据源较多，但是单个数据源的数据量不大，对数据清洗计算等处理要求不高的场景使用。

标准版的整体架构
管理平台
纯web的管理、设计、监控界面
共享元数据库
存储系统管理、配置以及日志信息
调度器
流程分解和调度、负载均衡、协调多个执行器的功能
执行器
执行作业和转换流程，支持多种执行器（native、spark、yarn）

安装过程

安装过程比较简单，就是将上面的三个包安装即可，重点需要说明的是，在我们选择配置元数据存储仓库时，可以根据不同的机器配置选择使用外置数据库或者还是内置数据库。其中，内置数据库默认使用的是derby数据库。建议manager和sceduler的元数据库最好选用同一种类型的数据库，最好还是使用外置数据库dm作为元数据库，这样我们也可以登录到元数据库上查询相关信息。
这个内置数据库其实也是可以进行更换的，比如将内置数据库derby更换为达梦数据库具体步骤如下：
1，初始化一个dm数据库作为外置元数据库
dminit
创建用户DMETL
create user dmetl identified by DMETL12345;
2,先在页面 管理-元数据管理 把流程进行备份
3.登录外置dm元数据库
disql dmetl/DMETL12345:5237
执行脚本
start dmetl5/scheduler/metadata/script/create.sql
start dmetl5/scheduler/metadata/script/insert.sql
4.修改 scheduler/config/scheduler.ini
manager/config/manager.ini
里面关于 元数据库的配置 改成外置的DM 的jdbc连接
5.重新启动ETL scheduler/manager组件 优先启scheduler
6.在etl界面通过备份进行恢复，将之前的流程恢复到新的元数据库里
安装完成后，服务可能并没有启动，最好把所有服务都进行重启一遍。服务重启的命令一般放在安装目录下的各个组件的目录。执行restart脚本进行重启。重启完成后，可以通过网络或者组件的方式打开数据交换平台。
登录的 网址在我们配置安装的时候就已经设置过了，登录的密码默认情况下是admin/admin

下面是我简单使用的具体操作步骤
使用触发器增量方式配置表的同步转换

将数据源中导入两张测试表

选择源端表，右键，添加触发器增量

此时会自动创建出一个cdcs，将左侧的cdcs下面的T_TUAN_TRIGGER_CDC直接拖动鼠标放到中间，然后，从右侧选择增量表，然后右键属性，选择T_MUDI，直接通过鼠标左键选择T_TUAN_TRIGGER_CDC下的绿色箭头，拖动到增量表。之后使用左侧工具栏，绿色开始按钮，即可完成操作。

详细手册可参考达梦官方网站，或登录社区进行交流学习
https://eco.dameng.com