46.canal 版本的 ODS 层处理

2.6.1 数据格式

 2.6.2 SparkStreaming 对 Topic 分流业务代码

canal 会追踪整个数据库的变更，把所有的数据变化都发到一个 topic 中了，但是为了

后续处理方便，应该把这些数据根据不同的表，分流到不同的主题中去。

(1)Kafka 发送数据工具类

在gmall2020-realtime模块中创建MyKafkaSink工具类，用于向Kafka中发送数据，

前面创建的 MyKafkaUtil 主要用于消费 Kafka 数据。

 

 

 (2)SparkStreaming 分流业务代码

 

 

 

 

(3)测试

➢ 启动 Redis

➢

启动 canal

➢

运行 BaseDBCanalApp 程序

➢

运行/opt/module/rt_dblog 模拟生成日志

➢

查看 kafka 下的主题