ETLCloud的应用策略——实时数据处理是关键

一、ETLCloud是什么？

ETLCloud又称数据集成（DataOps），是RestCloud旗下的一款数据仓库管理工具，通过自动化数据转换和集成来实现企业内部和外部数据的无缝对接，从而帮助企业快速获取准确的数据信息，进而作出正确的业务决策。

ETLCloud的功能分为离线数据集成、实时数据集成、数据源管理、监控中心、数据服务开发、用户权限管理等多模块，具有设计高效、开发成本低、数据支持性强、实时数据毫秒级同步、运行监控齐全等特点。

其中，实时数据处理是ETLCloud的关键应用策略之一，可以实现如下功能：

1.实时毫秒级同步：通过数据库日志捕获技术可以实现不同异构数据源之间的毫秒级实时同步。

2.构建实时数仓：通过实时同步技术可以帮助企业快速构建实时数仓。

3.实时报表：通过实时数据同步可以让BI的数据更快的展现、实时展示业务运作情况。

4.多种数据源支持：支持MySql、Oracle、Sql Server、PostgreSQL、MQ等的实时数据同步。

二、实践操作

直接展示监听Mysql数据库实时同步到Oracle数据库，中途进行数据映射等处理。

在数据库监听器类别中，ETLCloud可以实现四种监听方式，分别是直接传输、通过ETL流程、传输到Kafka、不处理。

直接传输方式，在配置方面是最简单的，适用于单纯监听同步源数据库表数据到目标库的情景，性能比较高效；

通过ETL方式，通过绑定设计离线流程，以达到对数据进行清洗转换等操作后，再同步到库表中，适用于监听源表数据后还需要对数据进行相关操作的情景，功能性比较强；

传输到Kafka方式，可以选择将数据传输到Kafka中，提供了多种选择；

不处理，可以捕获监听数据，但是不对数据进行后续操作，适用于测试监听器的配置效果便于调整监听器配置以及定位存在问题；

使用实时数据集成模块之前，我们需要在数据源中配置对应的数据源。