kafka 向mysql推送数据库_基于Canal和Kafka实现MySQL的Binlog近实时同步

最新推荐文章于 2023-11-27 10:59:45 发布
最新推荐文章于 2023-11-27 10:59:45 发布
阅读量293 收藏
点赞数
文章标签： kafka 向mysql推送数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30841011/article/details/113582757
版权

作者：Throwable

前提

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。

1021eace00865b67c6cbf188a4bb3c2b.png

这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。

关于Canal 简介

下面的简介和下一节的原理均来自于Canal项目的README：

ef24e013b2d846e31276ee55ebb3476e.png

Canal[k'nl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括：

数据库镜像

数据库实时备份

索引构建和实时维护(拆分异构索引、倒排索引等)

业务Cache刷新

带业务逻辑的增量数据处理Canal的工作原理

MySQL主备复制原理：

90b1d9495d546f9781a60041550ca697.png

MySQL的Master实例将数据变更写入二进制日志(binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看)

MySQL的Slave实例将master的binary log events拷贝到它的中继日志(relay log)

MySQL的Slave实例重放relay log中的事件，将数据变更反映它到自身的数据

Canal的工作原理如下：

Canal模拟MySQL Slave的交互协议，伪装自己为MySQL Slave，向MySQL Master发送dump协议

MySQL Master收到dump请求，开始推送binary log给Slave(即Canal)

Canal解析binary log对象(原始为byte流)，并且可以通过连接器发送到对应的消息队列等中间件中关于Canal的版本和部件

截止笔者开始编写本文的时候(2020-03-05)，Canal的最新发布版本是v1.1.5-alpha-1(2019-10-09发布的)，最新的正式版是v1.1.4(2019-09-02发布的)。其中，v1.1.4主要添加了鉴权、监控的功能，并且做了一些列的性能优化，此版本集成的连接器是Tcp、Kafka和RockerMQ。而v1.1.5-alpha-1版本已经新增了RabbitMQ连接器，但是此版本的RabbitMQ连接器暂时不能定义连接RabbitMQ的端口号，不过此问题已经在master分支中修复(具体可以参看源码中的CanalRabbitMQProducer类的提交记录)。换言之，v1.1.4版本中目前能使用的内置连接器只有Tcp、Kafka和RockerMQ三种，如果想尝鲜使用RabbitMQ连接器，可以选用下面的两种方式之一：

选用v1.1.5-alpha-1版本，但是无法修改RabbitMQ的port属性，默认为5672。

基于master分支自行构建Canal。

目前，Canal项目的活跃度比较高，但是考虑到功能的稳定性问题，笔者建议选用稳定版本在生产环境中实施，当前可以选用v1.1.4版本，本文的例子用选用的就是v1.1.4版本，配合Kafka连接器使用。Canal主要包括三个核心部件：

canal-admin：后台管理模块，提供面向WebUI的Canal管理能力。

canal-adapter：适配器，增加客户端数据落地的适配及启动功能，包括REST、日志适配器、关系型数据库的数据同步(表对表同步)、HBase数据同步、ES数据同步等等。

canal-deployer：发布器，核心功能所在，包括binlog解析、转换和发送报文到连接器中等等功能都由此模块提供。

一般情况下，canal-deployer部件是必须的，其他两个部件按需选用即可。

部署所需的中间件

搭建一套可以用的组件需要部署MySQL、Zookeeper、Kafka和Canal四个中间件的实例，下面简单分析一下部署过程。选用的虚拟机系统是CentOS7。

安装MySQL

为了简单起见，选用yum源安装(官方链接是https://dev.mysql.com/downloads/repo/yum)：

09c2aa30b33b35d72b2429195e76a6d2.png

::: info mysql80-community-release-el7-3虽然包名带了mysql80关键字，其实已经集成了MySQL主流版本5.6、5.7和8.x等等的最新安装包仓库 :::

选用的是最新版的MySQL8.x社区版，下载CentOS7适用的rpm包：

cd /data/mysqlwget https://dev.mysql.com/ge

最低0.47元/天 解锁文章
布拉格的玻璃
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于 Canal 和 Kafka 实现 MySQL 的 Binlog 近实时同步
格子衫
11-11 246
前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这篇文章简单介绍一下如何快速地搭建一套Canal相关的组件。 关于Canal 简介 下面的简介和下一.
kafka对接mysql_Kafka连接MySQL源
weixin_42377695的博客
01-27 2272
在开始之前，我想先说我对Kafka是全新的，对于Linux来说是相当新的，所以如果这最终是一个荒谬的简单答案，请善待！ :)Kafka连接MySQL源我想要做的事情的高层次想法是使用Confluent的Kafka Connect从分数或分钟基础上传输传感器数据的MySQL数据库读取，然后使用Kafka作为一个“ETL管道”即时将数据发送到数据仓库和/或MongoDB进行报告，甚至直接从我们的网络应...
[mysql]-centos7 根据mysql binlog恢复RDS
爷来辣的博客
08-31 1331
Centos7 根据mysql binlog恢复RDS 任何完美的数据恢复 比不上做好数据备份来的实在。 做好备份 做好备份 做好备份 因为mysql binlog 自动会删除 数据库表被删除了怎么办 怎么恢复 先判断表是否重要 如果非常重要 1.停服务，挂维护页面。保证数据一致性2.找一个新的数据库。同时，对故障库进行备份3.恢复前日备份。恢复完毕后。sc...
现实生产中使用Canal+kafka做数据同步的一次记录
Yikong的博客
12-03 1627
业务场景 需求：实时同步数据库（Mysql）数据到第三方公司、另一个数据库 方案 一、 数据同步操作嵌入业务代码块 优点：实现简单。 缺点：业务代码整体耦合性变高。如果同步到第三方公司的数据是有筛选的条件的，还会影响本身业务系统的性能。 二、 多搞一个数据库，读写分离，专门用做数据同步。 优点：较于方案一耦合性降低。不影响本身业务系统的正常运转 缺点：如果本身没有读写分离的需求，为了同步数据给第三方而增加一台机器。增加了成本且有点浪费资源。实时性得不到保证 三、 主从同步加消息队列实现同步 第三种方
使用docker+mysql+canal+kafka获取数据库增量数据用于建立数据仓库
qq_41434612的博客
07-03 835
软件版本 CentOS Linux release 7.6.1810 (Core) Docker version 20.10.3 canal-admin v1.1.5 canal-server v1.1.5 mysql 5.7 mysql 8 wurstmeister/kafka 2.13-2.7.0 zookeeper 3.6.3 docker常用命令 docker官网安装地址 下载镜像（可在dockerHub查找镜像:dockerHub官网地址） docker pull mysql 删除
Canal 监听 Mysql 自动写入 Kafka 并消费 配置 Windows 版
03-18
首先，Canal是阿里巴巴开源的一款数据库增量日志抽取框架，它能够高效、稳定地捕获MySQL的数据变更，提供基于binlog的实时数据同步服务。在Windows上部署Canal，你需要下载对应版本的canal.deployer-1.1.5-SNAPSHOT...
基于canal的mysql和elasticsearch实时同步源代码.zip
09-10
Canal是阿里巴巴开源的一款针对MySQL数据库的数据增量订阅与消费组件，它能够实时捕获并解析MySQL的binlog，将变更事件转化为结构化的数据，然后推送到各种消费端，如Elasticsearch。本项目提供的源代码正是基于...
canal实现mysql到ES数据实时同步
07-11
MySQL到Elasticsearch（ES）的数据实时同步是大数据领域中常见的需求，用于实现实时数据分析和检索。Canal是一款由阿里巴巴开源的数据库增量日志抽取工具，它能够监听MySQL的数据变更，然后将这些变更实时地同步到...
基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步.zip
07-27
- **增量同步**：Canal监听MySQL的binlog事件，当MySQL中的数据发生增删改时，Canal解析binlog并转化为结构化的数据事件，然后推送到Elasticsearch，实现数据的实时更新。 - **全量同步**：在初次同步或数据恢复时...
MySQL Binlog同步HDFS的方案
01-20
这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。...初步调研了canal(Ali)+kafka connect+kafka、maxwell(Zendesk)+kafka和mysql_streamer(Yelp)+kafka。这几
mysql+canal+kafka配置及python实现文档.docx
06-03
mysql+canal+kafka配置及python简单实现！
Oracle通过kafka同步数据到MySQL
weixin_42743109的博客
10-05 1636
场景 Oracle同步数据最佳的解决方案是自家的ogg，但是考虑到成本，需要找到其他的解决方案。如果是MySQL通过kafka同步，问题简单的多，因为阿里巴巴的开源数据同步方案——canel是最佳的解决方案。但是，canel只开源了MySQL数据库同步方案，Oracle同步没有开源出来。 借鉴canel的思路，canel通过实时获取MySQL的binlog日志做数据同步，Oracle有没有类似的方...
canal.adapter同步到mysql数据库
qq_37705525的博客
03-13 1935
canal.adapter同步到MySQL数据库
Kafka~Kafka生产者发送数据流程
feizuiku0116的博客
05-25 350
一、发送原理 在消息发送的过程中，设计到了两个线程：main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka Broker 二、发送过程 ...
从kafka读取数据并入库(mysql)
最新发布
刚毕业的大学生，一个小白，主打的就是真诚
11-27 1735
从kafka消费信息，并入库
java mysql发送数据到kafka，消费数据之后将数据保存进hive
weixin_44366140的博客
06-17 1012
一.连接mysql public class JdbcToMysql { private static Connection connection = JdbcConnecMysql.getConnection(); private static PreparedStatement ps; private static ResultSet resultSet; public static List<Table> getData(String tables) {
kafka批量写mysql_spark 对kafka数据进行统计并批量插入数据库
weixin_31232021的博客
01-26 323
1、初始化kafka相关参数，在APP类初始化的时候即获取kafka对应的topic参数public App(){try{kafkaParams.put("metadata.broker.list", ConfigUtil.getInstance().getKafkaConf().get("brokerlist"));kafkaParams.put("group.id", Constant.gro...
认识数据实时同步神器—Canal～
weixin_44433834的博客
07-27 457
随着系统业务量的不断扩大，都会使用分布式的方式，同时会有非常多的中间件，如redis、消息队列、大数据存储等，但是实际核心的数据存储依然是存储在数据库，多个数据库之前就会存在数据实时同步的问题，为了解决这个问题，需要采用一些数据实时同步中间件来解决问题。 Canal简介 Canal是阿里开源的一款基于 Mysql数据库 binlog的增量订阅和消费组件，通过它可以订阅数据库的 binlog日志，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有.
canal-adapter使用，MySQL到kafka到MySQL
剑雨江湖
03-25 4006
一、背景介绍 canal-adapter是canal的客户端适配器，能够直接将canal同步的数据写入到目标数据库（hbase,rdb,es），rdb是关系型数据库比如MySQL、Oracle、PostgresSQL和SQLServer等，比较的快捷方便。本文以MySQL-->canalServer-->kafka-->canalAdaper-->MySQL为例介绍can...
请用canal解析mysql binlog，然后到kafka，最后使用pyspark实现实时效果
06-02
好的，下面是一个基于 Canal、Kafka 和 PySpark Streaming 的实时案例，用于将 MySQL 数据库中的增量数据读取并发送到 Kafka，并通过 PySpark Streaming 进行实时计算。具体步骤如下： 1. 首先需要安装并启动 Canal 和 Kafka。 2. 创建一个 Python 脚本，使用 Canal 客户端连接到 Canal Server，并订阅指定的 MySQL 数据库和表。然后将解析出的增量数据发送到 Kafka。 ```python from canal.client import Client from kafka import KafkaProducer import json # 创建Canal客户端对象 client = Client() client.connect(host='127.0.0.1', port=11111) client.check_valid(username=b'', password=b'') # 创建Kafka生产者对象 producer = KafkaProducer(bootstrap_servers='127.0.0.1:9092') # 订阅指定的数据库和表 client.subscribe(client_id='1001', destination='example', filter='.*\\..*') try: while True: message = client.get(batch_size=100, timeout=100) for entry in message.get('entries'): if entry.entryType == 'ROWDATA': row_change = entry.rowChange event_type = row_change.eventType for row_data in row_change.rowDatas: row_dict = {} for column in row_data.afterColumns: row_dict[column.name] = column.value # 将解析出的增量数据发送到Kafka producer.send(topic='example', value=json.dumps(row_dict).encode('utf-8')) except Exception as e: print(e) finally: client.disconnect() ``` 上述代码中，首先创建了一个 Canal 客户端对象，并连接到 Canal Server。然后创建了一个 Kafka 生产者对象，用于将解析出的增量数据发送到 Kafka。接着，订阅了指定的 MySQL 数据库和表，并循环获取增量数据。对于每个增量数据，将其转换为字典格式，并使用 `json.dumps` 方法将字典编码为 JSON 字符串，并使用 Kafka 生产者将其发送到指定的 Kafka 主题中。 3. 创建一个 PySpark Streaming 应用程序，从 Kafka 主题中读取增量数据，并进行实时计算。例如，以下代码用于计算每隔5秒钟的单词计数： ```python from pyspark import SparkConf, SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafka import KafkaUtils import json # 创建SparkConf对象 conf = SparkConf().setAppName("Real-time Word Count") # 创建SparkContext对象 sc = SparkContext(conf=conf) # 创建StreamingContext对象，每隔5秒钟处理一次数据 ssc = StreamingContext(sc, 5) # 从Kafka读取数据 kafka_params = { "bootstrap.servers": "127.0.0.1:9092", "group.id": "example" } kafka_stream = KafkaUtils.createDirectStream( ssc, ["example"], kafka_params ) # 对Kafka中的每条消息进行解析并扁平化处理 messages = kafka_stream.map(lambda x: json.loads(x[1])) words = messages.flatMap(lambda x: x.values()) # 对每个单词进行计数 word_counts = words.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) # 打印计数结果 word_counts.pprint() # 启动StreamingContext并等待它完成 ssc.start() ssc.awaitTermination() ``` 上述代码中，首先创建了一个 `SparkConf` 对象，用于设置应用程序名称。然后创建了一个 `SparkContext` 对象，用于连接到 Spark 集群。接着，创建了一个 `StreamingContext` 对象，并设置每隔5秒钟处理一次数据。然后使用 `createDirectStream` 方法从 Kafka 主题中读取数据，并使用 `json.loads` 方法将 JSON 字符串转换为字典格式。接着，对字典中的值进行扁平化处理，并使用 `map` 和 `reduceByKey` 方法对每个单词进行计数。最后，使用 `pprint` 方法打印计数结果。最后启动 `StreamingContext` 并等待它完成。 运行上述代码后，您应该可以在终端看到类似以下的结果： ``` ------------------------------------------- Time: 2022-10-20 16:00:05 ------------------------------------------- (PySpark, 1) (Streaming, 1) (Hello, 1) (PySparkStreaming, 1) (World, 1) ------------------------------------------- Time: 2022-10-20 16:00:10 ------------------------------------------- (PySpark, 2) (Streaming, 1) (Hello, 2) (PySparkStreaming, 1) (World, 1) ``` 注意，以上代码仅提供了一个简单的示例，实际的 Canal 和 PySpark Streaming 应用程序可能需要更多的配置和代码来实现特定的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值