Canal+MQ监听MySQL数据

最新推荐文章于 2024-07-20 19:58:01 发布
最新推荐文章于 2024-07-20 19:58:01 发布
阅读量811 收藏 11
点赞数 25
文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zainful/article/details/140126284
版权

canal简介


canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像；
数据库实时备份；
索引构建和实时维护（拆分异构索引、倒排索引等）；
业务 cache 刷新；
带业务逻辑的增量数据处理；
 

工作原理


MySQL主备复制原理：

  • MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件 binary log events，可以通过 show binlog events 进行查看)；
  • MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)；
  • MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据；


canal 工作原理：

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump 协议；
  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )；
  • canal 解析 binary log 对象(原始为 byte 流)；

一、MySQL设置

修改 my.cnf 中配置

[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1       # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';  

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;

FLUSH PRIVILEGES;



查看授权情况

select * from mysql.user where User = 'canal'\G

*************************** 1. row ***************************
                    Host: %
                    User: canal
             Select_priv: Y
         Repl_slave_priv: Y
        Repl_client_priv: Y

二、启动Canal服务端

下载解压

wget https://github.com/alibaba/canal/releases/download/canal-1.1.6/canal.deployer-1.1.6.tar.gz

配置修改

conf/example/instance.properties

## mysql serverId
canal.instance.mysql.slaveId = 100

#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 

#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = 123456

如果系统是1个 cpu，需要将 canal.instance.parser.parallel 设置为 false

然后通过命令启动

bash bin/startup.sh

三、通过Canal客户端消费数据

可以直接消费数据；也可以先放到MQ中，再消费数据

直接通过Canal客户端消费数据

依赖

<!-- canal -->
<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.0</version>
</dependency>

客户端代码

package com.example.demo;

import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry.*;
import com.alibaba.otter.canal.protocol.Message;

import java.net.InetSocketAddress;
import java.util.List;


public class SimpleCanalClientExample {

    public static void run() {
        // 连接信息配置
        String hostname = "127.0.0.1";
        int port = 11111;
        String destination = "example";
        String username = "";
        String password = "";

        // 创建链接
        CanalConnector connector = CanalConnectors.newSingleConnector(
                new InetSocketAddress(hostname, port), destination, username, password
        );

        int batchSize = 1000;

        try {
            connector.connect();
            connector.subscribe(".*\\..*");
            connector.rollback();

            while (true) {
                Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
                long batchId = message.getId();
                int size = message.getEntries().size();

                // 没有拿到数据
                if (batchId == -1 || size == 0) {
                    try {
                        Thread.sleep(1000);
                    } catch (InterruptedException e) {
                    }
                } else {
                    System.out.printf("message[batchId=%s, size=%s] \n", batchId, size);
                    printEntry(message.getEntries());
                }

                connector.ack(batchId); // 提交确认
                // connector.rollback(batchId); // 处理失败, 回滚数据
            }
        } finally {
            connector.disconnect();
        }
    }

    private static void printEntry(List<Entry> entries) {
        for (Entry entry : entries) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                continue;
            }

            RowChange rowChange = null;
            try {
                rowChange = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                        e);
            }

            EventType eventType = rowChange.getEventType();
            System.out.println(String.format("binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(),
                    entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(),
                    entry.getHeader().getTableName(),
                    eventType));

            // 数据变化
            for (RowData rowData : rowChange.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                } else {
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue());
        }
    }

    public static void main(String[] args) {
        run();
    }
}

四、通过RabbitMQ消费数据

1、修改canal配置
canal.properties

# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
# canal.serverMode = tcp
canal.serverMode = rabbitMQ

##################################################
#########           RabbitMQ         #############
##################################################
rabbitmq.host = 127.0.0.1
rabbitmq.virtual.host = /
rabbitmq.exchange = canal-exchange
rabbitmq.username = root
rabbitmq.password = 123456


instance.properties

# mq config
# canal.mq.topic=example
canal.mq.topic=canal-routing-key

2、消费mq

Canal消息生产者：

package com.example.demo.config;

import com.example.demo.constant.RabbitConstant;
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.DirectExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * Canal消息提供者，canal-server生产的消息通过RabbitMQ消息队列发送
 */
@Configuration
public class CanalProvider {
    /**
     * 队列
     */
    @Bean
    public Queue canalQueue() {
        /**
         * durable:是否持久化，默认false，持久化队列：会被存储在磁盘上，当消息代理重启时仍然存在；暂存队列：当前连接有效
         * exclusive:默认为false，只能被当前创建的连接使用，而且当连接关闭后队列即被删除。此参考优先级高于durable
         * autoDelete:是否自动删除，当没有生产者或者消费者使用此队列，该队列会自动删除
         */
        return new Queue(RabbitConstant.CanalQueue, true);
    }

    /**
     * 交换机，这里使用直连交换机
     */
    @Bean
    DirectExchange canalExchange() {
        return new DirectExchange(RabbitConstant.CanalExchange, true, false);
    }

    /**
     * 绑定交换机和队列，并设置匹配键
     */
    @Bean
    Binding bindingCanal() {
        return BindingBuilder.bind(canalQueue()).to(canalExchange()).with(RabbitConstant.CanalRouting);
    }
}


Canal消息消费者：

package com.example.demo.consumer;

import com.example.demo.constant.EventTypeConstant;
import com.example.demo.constant.RabbitConstant;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;

import java.util.List;
import java.util.Map;

/**
 * Canal消息消费者
 */
@Component
@RabbitListener(queues = RabbitConstant.CanalQueue)
public class CanalConsumer {
    @RabbitHandler
    public void process(Map<String, Object> msg) {
        System.out.println("收到canal消息：" + msg);
        // 收到canal消息：{data=[{id=21, name=Mini+1, age=30}], database=data, es=1684302821000, id=2, isDdl=false, mysqlType={id=int unsigned, name=varchar(20), age=tinyint unsigned}, old=[{name=Mini}], pkNames=[id], sql=, sqlType={id=4, name=12, age=-6}, table=tb_user, ts=1684302821452, type=UPDATE}

        boolean isDdl = (boolean) msg.get("isDdl");

        // 不处理DDL事件
        if (isDdl) {
            return;
        }

        // 数据库
        String database = (String) msg.get("database");
        // 表
        String table = (String) msg.get("table");
        // 类型：INSERT/UPDATE/DELETE
        String type = (String) msg.get("type");
        // 每一列的数据值
        List<?> data = (List<?>) msg.get("data");

        System.out.printf("%s.%s", database, table);

        // 只处理指定类型
        if (EventTypeConstant.INSERT.equalsIgnoreCase(type)) {
            System.out.println("INSERT");
        } else if (EventTypeConstant.UPDATE.equalsIgnoreCase(type)) {
            System.out.println("UPDATE");
        } else if (EventTypeConstant.DELETE.equalsIgnoreCase(type)) {
            System.out.println("DELETE");
        } else {
            // 其他事件
        }
    }
}


数据变化事件类型

package com.example.demo.constant;

/**
 * 数据变化事件类型
 */
public class EventTypeConstant {
    public static final String INSERT = "INSERT";
    public static final String UPDATE = "UPDATE";
    public static final String DELETE = "DELETE";
}


配置

package com.example.demo.constant;

/**
 * 配置
 */
public class RabbitConstant {
    public static final String CanalQueue = "canal-queue";
    public static final String CanalExchange = "canal-exchange";
    public static final String CanalRouting = "canal-routing-key";
}

zainful
关注
  • 25
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Canal + RocketMQ 同步 MySQL 数据到 Redis
Zxdwr520的博客
01-29 466
一般来说，缓存中的数据没什么问题，但是数据库更新后，就容易出现缓存（Redis）和数据库（MySQL）间的数据一致性问题。由于写和读是并发的，没法保证顺序，就会出现缓存和数据库的数据不一致的问题
canal监听器 windos版本
05-23
总的来说，Canal监听器在Windows版本下为开发者提供了一个强大的工具，用于解决跨平台的数据同步问题，尤其是在MySQL和MariaDB环境中的实时数据流。通过深入理解和熟练运用Canal，开发者可以构建出更高效、更稳定的...
canal + rabbitmq监听mysql数据库变化
qq_31942447的博客
08-12 966
canal + rabbitmq监听mysql数据库变化
SpringBoot整合Canal+RabbitMQ监听数据变更
天行健，君子以自强不息；地势坤，君子以厚德载物。
06-15 88
来源：JAVA日知录需求我想要在SpringBoot中采用一种与业务代码解耦合的方式，来实现数据的变更记录，记录的内容是新数据，如果是更新操作还得有旧数据内容。经过调研发现，使用Canal来监听MySQL的binlog变化可以实现这个需求，可是在监听到变化后需要马上保存变更记录，除非再做一些逻辑处理，于是我又结合了RabbitMQ来处理保存变更记录的操作。步骤启动MySQL环境，并开启binlog...
通过Canal+Kafka将Mysql数据同步到ElasticSearch
ChenHuaiJie0912的博客
12-18 3354
首先说下我们的技术选型，在业务库的选择上，我们选择了灵活方便的mysql，通过强大的分表分库中间件，我们能够轻松构建百库百表的巨大mysql集群，并且实现了不错的TPS。但是运营的瓶颈就显现出来，我们需要通过各种各样的条件来查询我们的订单交易，通过我们搭建的分表分库的mysql集群很难满足要求。ElasticSearch凭借着不错的搜索性能，完美满足了我们的业务要求，那么如何将数据从mysql同步到es，就是我们今天要说的课题。 原理: 数据流方向：mysql->canal->kafka-e
canal-1.1.5全家桶
01-27
- **数据库增量同步**：通过监听MySQL的binlog，Canal可以捕捉到所有的数据库增删改查操作，实现数据的实时同步。 - **高可用与扩展性**：Canal支持多实例部署和集群模式，可以保证在单个实例故障时，服务依然能够...
canal-sync.zip
01-04
- **监听MySQL Binlog**：Canal通过连接到MySQL服务器，开启一个逻辑复制的连接，监听MySQL的Binlog事件。 - **解析Binlog**：接收到的Binlog事件被Canal解析成易于理解的结构化数据，如SQL语句。 - **数据同步**...
canal.deployer-1.1.4.zip
04-01
Canal运行时会连接到MySQL服务器，开启一个binlog监听线程，当MySQL有数据变更时，Canal会捕获到这些变更，并转化为结构化的JSON格式消息，然后通过MQ（如RabbitMQ、Kafka）或者直接发送到目标系统。 3. **Canal...
canal-阿里增量日志解析组件-1.1.5
04-06
它能够模拟MySQL的Slave，监听并解析MySQL的binlog（二进制日志），将binlog中的事件转化为结构化的数据，然后推送到各种目标系统，如消息队列MQ、Elasticsearch、HDFS等。 1. **基本原理** Canal工作流程主要...
MySQL表中允许有多少个 TRIGGERS（触发器）？
sheji888的专栏
07-17 436
MySQL的触发器可以分为六种类型：BEFORE INSERT、AFTER INSERT、BEFORE UPDATE、AFTER UPDATE、BEFORE DELETE、AFTER DELETE，每种类型可以针对一个表定义多个触发器，但是每种类型的触发器在单个表上只能有一个与之关联的命名触发器。：虽然技术上讲每种类型的触发器在单个表上只能有一个命名触发器，但你可以通过创建具有不同名称的相同类型的多个触发器来绕过这个限制，只要这些触发器在触发时满足不同的条件（例如，检查不同的列或满足不同的业务逻辑）。
MySQL：SELECT 语句
Zachyy的博客
07-20 80
在 MySQL 中，可以使用 SELECT语句来查询数据。查询数据是指从数据库中根据需求，使用不同的查询方式来获取不同的数据，是使用频率最高、最重要的操作。
MySQL（事务、索引）&&MyBatis
hycccccch的博客
07-19 560
事务指的是一组操作的集合，是一个不可分割的工作单位。事务会将所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败默认MySQL的事务是自动提交，即当执行一条DML语句时，MySQL会立即隐式的提交事务开启事务后运行事务不会对数据改变，commit后才会改变数据如果有命令发生错误，需要进行rollback进行回滚、
Mysql----内置函数
m0_74979625的博客
07-18 225
Mysql--内置函数
使用 Vue3、Node.js、MySQL、Electron 和 Express 实现用户登录、文章管理和截屏功能
liyananweb的博客
07-15 852
通过本文，我们详细介绍了如何使用 Vue3、Node.js、MySQL、Electron 和 Express 实现一个完整的用户登录、文章管理和截屏功能的应用。希望这篇文章能为你提供有价值的参考，帮助你更好地理解和实现前后端分离的应用开发。如果你有任何问题或建议，欢迎在评论区留言讨论。
记录些MySQL题集（8）
安静的软件工程师
07-16 1124
记录些MySQL题集（8）
MYSQL2
最新发布
2301_76692168的博客
07-20 396
1.建库以及建表：mysql> create database mydb8_woker;mysql> use mydb8_woker;mysql> create table t_worker( -> department_id int(11) not null comment '部门号', -> worker_id int(11) primary key not null comment '职工号', -> worker_date date not null comment '工作时
使用Docker 实现 MySQL 循环复制（一）
m0_60511809的博客
07-18 966
复制是 MySQL 的一项非常重要的技术，它使服务器能够将更改从一个实例复制到另一个实例，复制技术被广泛应用在水平横向扩展、商业智能和分析、地理数据分布、高可用性与容灾等关键性场景中。在某些地区或网络环境下，直接从官方 Docker Hub 下载镜像可能会出现速度慢、不稳定甚至无法连接等问题。典型的复制拓扑是主/从属服务器的一对多关系，高级复杂复制拓扑有双向复制、循环复制以及多源复制等。本次实验将在一台虚拟机中使用 Docker 容器构建三个 MySQL 循环复制拓扑。
linux系统 mysql-8.0.32安装
w20228396的博客
07-16 378
检查系统是否安装了mariadb数据库， mariadb数据库是mysql的分支，是免费开源的。初始化数据库，安装加密算法（初始化时候，密码将在log-error=/data/mysql-8.0.32/error.log中产生）若linux中安装了mariadb数据库，先卸载掉， mariadb数据库可能与安装mysql发生冲突。再去bin目录下，执行 mysqld_safe --skip-grant-tables &然后mysql -uroot -p登陆，直接回车，不需要密码可登陆进去。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值