Kafka实时数据同步

目录

1 概述

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

2.2 数据发布设置

2.3 捕获到发布数据流映射

2.4 查看任务执行日志

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

3.2 数据加载设置

3.3 订阅到加载数据流映射

3.4 查看任务执行日志

 4 校验数据一致性

---

1 概述

BeeDI支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入数仓或大数据平台。

BeeDI支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获（日志解析），支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。

2 捕获Oracle数据到Kafka

2.1 数据捕获设置

2.2 数据发布设置

2.3 捕获到发布数据流映射

2.4 查看任务执行日志

3 订阅Kafka数据到ClickHouse

3.1 数据订阅设置

3.2 数据加载设置

      

3.3 订阅到加载数据流映射

3.4 查看任务执行日志

 4 校验数据一致性