基于 Canal 和 Kafka 实现 MySQL 的 Binlog 近实时同步

最新推荐文章于 2023-09-29 12:37:40 发布
VIP文章 最新推荐文章于 2023-09-29 12:37:40 发布
阅读量236 收藏
点赞数
分类专栏： Canal
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44441757/article/details/109612754
版权

前提

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。

 

这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。

关于Canal

简介

下面的简介和下一节的原理均来自于Canal项目的README：

Canal[kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括：

  • 数据库镜像

  • 数据库实时备份

  • 索引构建和实时维护（拆分异构索引、倒排索引等）

  • 业务Cache刷新

  • 带业务逻辑的增量数据处理

Canal 的工作原理

MySQL主备复制原理：

  • MySQL的Master实例将数据变更写入二进制日志（binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看）

  • MySQL的Slave实例将master的binary log events拷贝到它的中继日志（relay log）

  • MySQL的Slave实例重放relay log中的事件，将数据变更反映它到自身的数据

Canal的工作原理如下：

  • Canal模拟MySQL Slave的交互协议，伪装自己为MySQL Slave，向MySQL Master发送dump协议

  • MySQL Master收到dump请求，开始推送binary log给Slave（即Canal）

  • Canal解析binary log对象（原始为byte流），并且可以通过连接器发送到对应的消息队列等中间件中

关于Canal的版本和部件

截止笔者开始编写本文的时候（2020-03-05），Canal的最新发布版本是v1.1.5-alpha-1（2019-10-09发布的），最新的正式版是v1.1.4（2019-09-02发布的）。其中，v1.1.4主要添加了鉴权、监控的功能，并且做了一些列的性能优化，此版本集成的连接器是Tcp、Kafka和RockerMQ。而v1.1.5-alpha-1版本已经新增了RabbitMQ连接器，但是此版本的RabbitMQ连接器暂时不能定义连接RabbitMQ的端口号，不过此问题已经在master分支中修复（具体可以参看源码中的CanalRabbitMQProducer类的提交记录）。换言之，v1.1.4版本中目前能使用的内置连接器只有Tcp、Kafka和RockerMQ三种，如果想尝鲜使用RabbitMQ连接器，可以选用下面的两种方式之一：

  • 选用v1.1.5-alpha-1版本，但是无法修改RabbitMQ的port属性，默认为5672。

  • 基于master分支自行构建Canal。

 

目前，Canal项目的活跃度比较高，但是考虑到功能的稳定性问题，笔者建议选用稳定版本在生产环境中实施，当前可以选用v1.1.4版本，本文的例子用选用的就是v1.1.4版本，配合Kafka连接器使用。Canal主要包括三个核心部件：

  • canal-admin：后台管理模块，提供面向WebUI的Canal管理能力。

  • canal-adapter：适配器，增加客户端数据落地的适配及启动功能，包括REST、日志适配器、关系型数据库的数据同步（表对表同步）、HBase数据同步、ES数据同步等等。

  • canal-deployer：发布器，核心功能所在，包括binlog解析、转换和发送报文到连接器中等等功能都由此模块提供。

一般情况下，canal-deployer部件是必须的，其他两个部件按需选用即可。

部署所需的中间件

搭建一套可以用的组件需要部署MySQL、Zookeeper、Kafka和Canal四个中间件的实例，下面简单分析一下部署过程。选用的虚拟机系统是CentOS7。

安装MySQL

为了简单起见，选用yum源安装（官方链接是https://dev.mysql.com/downloads/repo/yum）：

mysql80-community-release-el7-3虽然包名带了mysql80关键字，其实已经集成了MySQL主流版本5.6、5.7和8.x等等的最新安装包仓库

选用的是最新版的MySQL8.x社区版，下载CentOS7适用的rpm包：

cd /data/mysql

wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm

// 下载完毕之后

sudo rpm -Uvh mysql80-community-release-el7-3.noarch.rpm

此时列举一下yum仓库里面的MySQL相关的包&#x

最低0.47元/天 解锁文章
☞空白页
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL Binlog同步HDFS的方案
01-20
这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。...初步调研了canal(Ali)+kafka connect+kafka、maxwell(Zendesk)+kafka和mysql_streamer(Yelp)+kafka。这几
syncClient:syncClient，数据实时同步中间件（同步mysql到kafka、redis、elasticsearch、httpmq）！
05-29
本项目使用canal，将mysql的表数据实时同步到kafka、redis、elasticsearch、httpmq； 基本原理： canal解析binlog的数据，由syncClient订阅，然后实时推送到kafka或者redis、elasticsearch、httpmq、ssdb；如果...
阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
agapple
02-06 1435
   背景    早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。ps. 目前内部使用的同步，已经支持mysql5.x和oracle部分...
使用canal配合rocketmq监听mysql的binlog日志
m0_51681531的博客
06-29 5036
使用canal配合rocketmq监听mysql的binlog日志
利用MySQL的Binlog实现数据同步与订阅(中)：RabbitMQ篇
素履独行 | 元培的个人博客
08-25 2904
紧接上一篇博客中的思路，这次我们来说说事件总线(EventBus)，回首向来，关于这个话题，我们可能会联想到发布-订阅模式、观察者模式、IObservable与IObserver、消息队列等等一系列的概念。所以，当我们尝试着去解释这个概念的时候，它到底是什么呢？是一种设计模式？是一组API接口？还是一种新的技术？显而易见，发布-订阅模式和观察者模式都是设计模式，而IObservable与IObserver、消息队列则是具体的实现方式，就像你可以用委托或者事件去实现一个观察者模式，而Redis里同样内置了发布
基于MySql BinLog的增量订阅和消费组件 Canal
kutianya518的博客
04-03 2083
1、Canal背景 早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。 2、Canal原理 2.1mysql主备复制实现 从上层来看，复制分成三步： master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事..
MQ消息队列
顺其自然~专栏
11-18 956
是基础数据结构中“”的一种数据机构。指把要传输的数据（消息）放在队列中，用队列机制来实现消息传递——生产者产生消息并把消息放入队列，然后由消费者去处理。消费者可以到指定队列消息，或者订阅相应的队列，由MQ服务端给其消息。消息队列中间件是系统中重要的组件，主要解决等问题，实现高性能，高可用，可伸缩和最终一致性架构。：一个业务需要多个模块共同实现，或者一条消息有多个系统需要对应处理，只需要主业务完成以后，发送一条MQ，其余模块消费MQ消息，即可实现业务，。
mriya:由Flink开发的实时ETL，可将数据从MySQL传输到Greenplum。 使用Canal解析MySQL Binlog，将其放入kafka，使用Flink消耗kafka并将数据组装到Greenplum中，将来还会添加更多数据源和目标源
05-08
使用canal解析MySQL的binlog，投放进kafka，使用Flink消费kafka并把数据组装进Greenplum，后续将会添加更多的数据源和目标源。 工作流程 利用canal解析MySQL的binary log，并将解析的log投入kafka中。 使用mriya消费...
大数据技术之Canal视频教程
07-08
可以实时读取MySQL二进制日志Binlog，并生成JSON格式的消息，作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序，还可以使用TCP模式自定义数据格式以及发送的下游...
MysqlToAll：使用binlog工具将Mysql数据归档到elasticsearchkafkaredisredis-clustermongodb（审计和普通）TiDBpostgresql
02-04
使用binlog工具将Mysql数据保存到文件/ elasticsearch / kafka / redis / redis-cluster。 高性能 如何配置？ canalconfigs xxx.toml (canal config file) xxx.pos (binlog pos file) 配置 config.toml (Output ...
解读 RocketMQ 应用 RocketMQ-MySQL
weichencui的专栏
04-19 764
1、框架说明 ​ 用于读取mysql的binlog日志文件，将日志文件发到rocketMq，消费端可以订阅主题，对消息进行处理。这种方式 可以使多个应用订阅数据库变更数据。各个应用根据自己的业务逻辑处理对应的数据表即可。 1、结构流程图 图解说明： ​ 1、mysql数据库开启Binary log操作日志记录功能，方便数据恢复，数据备份使用； ​ 2、通过中间件mysql-binlog-connector-java读取日志文件，将日志文件解析成JSON格式； ​
canal订阅mysql的binlog日志+springboot详解
qq_42670087的博客
12-05 2349
订阅mysql的binlog日志，通过canal中间件将对应日志通过springboot整合的方式打印出来
kafka发送消息Key为null时如何选择分区
紫蝶侠的博客
12-03 3191
分区的原则 通过分析，建议发送消息时轮询指定分区。 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。 （1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值； （2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值； （3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后 面每次调
canal +RocketMQ实现MySQL与ElasticSearch数据同步
东子的博客 细节决定成败，点滴铸就辉煌。
08-20 7472
1.引言 在很多业务情况下，我们都会在系统中引入ElasticSearch搜索引擎作为做全文检索的优化方案。 如果数据库数据发生更新，这时候就需要在业务代码中写一段同步更新ElasticSearch的代码。 这种数据同步的代码跟业务代码耦合性非常高，并且使得代码的可读性降低，于是乎，我们能不能把这些数据同步的代码抽出来形成一个独立的模块呢？肯定是可以的。 下面我会以一个CMS文章管理为例来演示canal+Rocketmq实现MySQL与ElasticSearch数据同步。 2.技术栈 如果你还对Spring
使用Kafka订阅数据库的实时Binlog
吴就业
11-13 6939
订阅Binlog的目的在于，实现实时的缓存更新、处理复杂逻辑数据实时同步到Elasticsearch/其它库-表等业务场景。本篇内容包括：一种在应用...
ElasticSearch - 在 微服务项目 中基于 RabbitMQ 实现 ES 和 MySQL 数据异步同步（考点）
最新发布
CYK_byte的博客
09-29 2057
微服务 架构的项目上，不同的业务往往会在不同的微服务上，比如 “商品数据管理业务” 和 “商品数据搜索业务” 肯定会在两个不同的微服务上，那么跨微服务的项目就没办法直接操作了.
微服务项目【消息推送（RabbitMQ）】
weixin_63719049的博客
02-17 2414
定义RabbitMQ配置类，设置生产者发送数据时自动转换成JSON，设置消费者获取消息自动转换成JSON。} }设置RabbitTemplate消息转换模式为Jackson2JsonMessageConverter；设置RabbitMQ消费者监听器的的消息转换模式为Jackson2JsonMessageConverter；
Kafka-connect将Kafka数据同步到Mysql
孟孟的博客
07-04 3549
Kafka Connect主要用于将数据流输入和输出消息队列Kafka版。Kafka Connect主要通过各种Source Connector的实现，将数据从第三方系统输入到Kafka Broker，通过各种Sink Connector实现，将数据从Kafka Broker中导入到第三方系统............
canal-adapter使用，MySQL到kafka到MySQL
剑雨江湖
03-25 3970
一、背景介绍 canal-adapter是canal的客户端适配器，能够直接将canal同步的数据写入到目标数据库（hbase,rdb,es），rdb是关系型数据库比如MySQL、Oracle、PostgresSQL和SQLServer等，比较的快捷方便。本文以MySQL-->canalServer-->kafka-->canalAdaper-->MySQL为例介绍can...
基于spark streaming + canal + kafka对mysql增量数据实时进行监测分析
06-06
Canal是一个开源的MySQL增量订阅&消费组件，可以将MySQL的binlog日志解析成增量数据，并通过Kafka将数据发送到Spark Streaming进行实时处理和分析。这种架构可以实现高效、实时的数据监测和分析，适用于需要实时监测...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值