达梦DM ETL工具搭建与使用

1.概述

达梦数据交换平台(简称DMETL)是在总结了众多大数据项目经验和需求并结合最新的大数据发展趋势的基础上研发的具有自主版权的数据处理与集成平台。达梦数据交换平台创新地将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据交换共享的一站式支持，大幅度降低了用户使用各种平台进行大数据整合处理的技术门槛，是构建数据中心、数据仓库、数据交换和数据同步等数据集成类应用的理想平台。
 

2.ETL的使用

2.1 连接ORACLE12c

ETL5连接oracle12c时需要使用url进行配置连接。如图所示

url为jdbc:oracle:thin:@localhost:1521/ORCL 

 2.2 增量抽取方式

可以根据各种增量抽取方式的特点来选择合适的增量抽取方式，各种方式的特点如下：
触发器增量抽取方式：对 ETL 服务器的负担较小，实现简洁，需要在源数据库中建立触发器，序列，触发器表，适用于数据量大的表，实时性要求较高的场合。
影子表增量抽取方式：通过对比影子表和原表的差异来捕获变更数据，适用于不能创建触发器的地方，可以在另一个可以查询源端用户权限的其他用户下创建表，不会占用源端用户表空间，以及实时性要求要求不高