（13）达梦DMETL数据交换平台技术原理及应用介绍

在上一篇博客里，我们对达梦DMHS进行了动手部署实践。本篇文章主要是对达梦DMETL数据交换平台系统框架及核心功能组件等技术方面的学习分享。

一、数据实时同步软件(DMETL)简介

达梦数据交换平台(简称DMETL)是在结合当前大数据发展趋势和技术的基础上，将传统的ETL工具（Extract、Transform、Loading)与分布式大数据处理平台相结合，实现了对数据同步、数据处理以及数据共享交换的一站式支持。DMETL可以大幅度降低用户使用各种hadoop以及flink进行大数据整合处理的技术门槛，是构建数据同步、数据交换、数据仓库以及数据中心等数据集成类应用的新平台。

产品支持的版本方面，有单机版、标准版和大数据版本。

（1）单机版所有的组件运行在一个系统服务中，只包含一个原生执行器，占用资源较小，安装部署方便，适合小型项目以及个人学习使用。

（2）标准版包含管理器、调度器、原生执行器、控制器共4个组件，执行器数据量可以根据需求扩展，部署多个原生执行器时可支持负载均衡和故障转移，适用于数据源和数据种类较多，对可靠性要求较高的应用场景。

（3）大数据版在标准版的基础上增加了yarn执行器和flink执行器的支持，分别支持大数据批处理和流处理。在yarn和flink执行器的支持下，用户无需编码，可以以可视化的方式设计hadoop和flink数据处理作业，简化了对于大数据批量处理以及流式数据处理的技术要求，提高了项目实施效率。适用于数据量大、数据转换处理复杂以及实时性要求较高的场景。

以上版本，分别支持在 Win64位和Linux64位操作系统上部署运行。

二、系统体系架构及核心功能组件

DMETL采用共享元数据库的架构，系统分为5个部件（为简化图形，图中没有标示控制器），如下图所示：