RestCloud数据集成平台-监听SqlServer数据库表，并同步数据到MongoDB数据库表详细教程（实战篇）

上一篇：RestCloud数据集成平台-Windows全量包安装部署详细教程

1. 数据源管理

数据源主要用来建立与用户的数据库的链接。数据源管理主要用来对用户添加的所有数据链接进行管理，主要包括新建数据源、测试链接、修改链接、复制链接、查询链接和删除链接等功能。

---

1.1. 创建链接

进入【数据源管理】页面，点击数据源列表左上方的【新建数据源】可以创建新的链接。

目前连接支持的数据库类型包括：
1、关系型数据库：Oracle、SQL Server、MySQL 、PostgreSQL、Greenplum、Sybase、GaussDB、ClickHouse、OceanBase
2、消息型数据库：Kafka、MQTT、JMS、RabbitMQ、阿里云RocketMQ
3、大数据库数据库：MongoDB、Redis、Elasticsearch、HBase、Hive、Phoenix、Impala、Kylin
4、对象储存：OSS、COS、OBS

---

1.2. 测试链接

平台的数据源列表会提供对应数据源分类下的数据源链接参考示例，按照示例配置，最后保存并测试链接，提示成功即可完成新建数据源。

---

2. 数据库表开启CDC

详见可跳转俺的这篇文章，这里我们开启SQLServer某表的CDC即可，后续对此表进行数据同步。

CDC实时数据集成-MySQL和SQLServer数据库开启CDC详细教程

---

3. CDC创建使用传输给ETL流程方式的监听器进行库表同步

注意：使用监听器功能需要提前开启好监听数据库表的CDC，并在平台配置好相应的数据源！

3.1. 系统应用-离线数据集成

3.2. 数据集成应用-新建应用

注：平台提供示例应用，可根据自身需要参考该应用里的示例使用或者新建应用。

3.3. 数据集成流程-新建流程

3.4. 数据集成流程-流程设计

注意：我们这个案例，库表同步至MongoDB需要使用指定的MongoDB输出组件，其他依据自身情况设计流程，可参考该平台的官方文档。

注意：这里选择字段ID作为关键字段。注意：目标表一定要选择关键字段，否则会导致更新失败！

最后保存即可

可选择该页面的工具进行运行调试，其他工具的使用感兴趣的话可以自己探索一下~

---

3.5. 系统应用-实时数据集成

3.6. 数据库监听器-新增监听器

3.6.1. 监听器配置

设置监听器名称、源数据库、数据库、监听表等。

3.6.2. 接收端配置

数据库数据同步至MongoDB的数据传输模式选择传输给ETL的流程，并指定ETL流程为上面我们设计好的流程设计。

3.6.3. 监听器保存

3.6.4. 启动监听器

3.6.6. 流程设计调试日志

启动监听后，如若对源表数据进行增、删、改操作，可在流程设计处查看运行日志等相关信息，验证数据同步结果。

3.6.5. 监听器传输记录

监听启动后，可查看相关传输记录和数据统计信息。

---

3.7. 概览-监听器相关监听数据

可根据类型、连接器等筛选监听数据统计。