tcp实时传输kafka数据_实时数据同步服务(canal+kafka)的架构设计

可以访问  查看更多关于 消息中间件 的原创文章。

移山是禧云自研的数据迁移平台，包含异构数据源的迁移、实时数据同步等服务。有兴趣的可以看这里：

本文主要介绍移山实时数据同步服务产生的背景以及整体架构设计。

可以访问

一. 移山实时数据同步服务产生背景

禧云各个子公司业务系统基本都是以 MySQL 为主；

做为数据支持部门，需要订阅这些业务数据做为数据仓库的数据源，来进行下游的数据分析。比如：

各种离线数据 T+1 报表展示；

实时数据大屏展示等。

微信小程序实时数据指标展示

像这种常见的实时数据指标大屏展示，背后可能就用到实时数据同步服务技术栈。

二. 移山实时数据同步服务使用canal中间件

1. 使用场景符合

它可以对 MySQL 数据库增量日志解析，提供增量数据订阅和消费，完全符合我们的使用场景。

2. 支持将订阅到的数据投递到kafka

canal 1.1.1版本之后，server端可以通过简单的配置就能将订阅到的数据投递到MQ中，目前支持的MQ有kafka、RocketMQ，替代老版本中必须通过手动编码投递的方式。

移山的实时数据同步服务使用的MQ为kafka，以下为主要配置：

修改canal.properties中配置

# 这里写上当前canal server所在机器的ip

canal.ip= 10.200.*.109# register ip to zookeeper(这里写上当前canal server所在机器的ip)