基于Canal和Elasticsearch实现MySQL的Binlog近实时同步

最新推荐文章于 2022-07-22 11:48:39 发布
最新推荐文章于 2022-07-22 11:48:39 发布
阅读量1.2k 收藏 4
点赞数 2
文章标签： 数据库 java mysql 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39140300/article/details/115494572
版权

文章目录

前言

随着系统业务增长提高接口响应准备把系统中elasticsearch解耦出来,
Canal模拟MySQL Slave的交互协议，伪装自己为MySQL Slave，向MySQL Master发送dump协议,MySQL Master收到dump请求，开始推送binary log给Slave（即Canal）
Canal解析binary log对象（原始为byte流）对elasticsearch增删改.

一、Canal的工作原理

MySQL主备复制原理：
在这里插入图片描述

  • MySQL的Master实例将数据变更写入二进制日志（binary log，其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看
  • MySQL的Slave实例将master的binary log events拷贝到它的中继日志（relay log）
  • MySQL的Slave实例重放relay log中的事件，将数据变更反映它到自身的数据

Canal的工作原理如下：

  • Canal模拟MySQL Slave的交互协议，伪装自己为MySQL Slave，向MySQL Master发送dump协议
  • MySQL Master收到dump请求，开始推送binary log给Slave（即Canal）
  • Canal解析binary log对象（原始为byte流），并且可以通过连接器发送到对应的消息队列等中间件中

二、修改mysq配置开启Binlog

  • 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

  • 确认是否开启了binlog
    在这里插入图片描述

  • 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限

  • 最后在MySQL的Shell执行下面的命令，新建一个用户名canal密码为QWqw12!@的新用户，赋予REPLICATION SLAVE和 REPLICATION CLIENT权限

CREATE USER canal IDENTIFIED BY 'QWqw12!@';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

github: canal

三、安装和使用Canal

  • 下载解压缩
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz
tar -zxvf canal.deployer-1.1.4.tar.gz
  • 目录结构
    在这里插入图片描述
  • 配置修改(vim conf/example/instance.properties)
## mysql serverId
canal.instance.mysql.slaveId = 1234
#position info，需要改成自己的数据库信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName = test （需要在MySQL中建立一个test数据库）
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*
  • 启动
sh bin/startup.sh
  • 查看 server 日志(vi logs/canal/canal.log)
2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
  • 查看 instance 的日志(vi logs/example/example.log)
2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

四、新建Springboot项目整合Canal和Elasticsearch

1.新建项目

在这里插入图片描述

  • maven
     <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.69</version>
        </dependency>
        <!-- canal -->
        <dependency>
            <groupId>com.alibaba.otter</groupId>
            <artifactId>canal.client</artifactId>
            <version>1.1.4</version>
        </dependency>

2.Canal.client连接Canal Server(通过Navicat update)

  • 首先启动Canal Server,update修改
    在这里插入图片描述
  • 启动Canal Client后，可以从控制台从看到类似消息
    在这里插入图片描述
  • Canal Client连接代码
package com.alibaba.otter.canal.sample;
import java.net.InetSocketAddress;
import java.util.List;


import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.common.utils.AddressUtils;
import com.alibaba.otter.canal.protocol.Message;
import com.alibaba.otter.canal.protocol.CanalEntry.Column;
import com.alibaba.otter.canal.protocol.CanalEntry.Entry;
import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;
import com.alibaba.otter.canal.protocol.CanalEntry.EventType;
import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;
import com.alibaba.otter.canal.protocol.CanalEntry.RowData;


public class SimpleCanalClientExample {


public static void main(String args[]) {
    // 创建链接
    CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils.getHostIp(),
                                                                                        11111), "example", "", "");
    int batchSize = 1000;
    int emptyCount = 0;
    try {
        connector.connect();
        connector.subscribe(".*\\..*");
        connector.rollback();
        int totalEmptyCount = 120;
        while (emptyCount < totalEmptyCount) {
            Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据
            long batchId = message.getId();
            int size = message.getEntries().size();
            if (batchId == -1 || size == 0) {
                emptyCount++;
                System.out.println("empty count : " + emptyCount);
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                }
            } else {
                emptyCount = 0;
                // System.out.printf("message[batchId=%s,size=%s] \n", batchId, size);
                printEntry(message.getEntries());
            }

            connector.ack(batchId); // 提交确认
            // connector.rollback(batchId); // 处理失败, 回滚数据
        }

        System.out.println("empty too many times, exit");
    } finally {
        connector.disconnect();
    }
}

private static void printEntry(List<Entry> entrys) {
    for (Entry entry : entrys) {
        if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
            continue;
        }

        RowChange rowChage = null;
        try {
            rowChage = RowChange.parseFrom(entry.getStoreValue());
        } catch (Exception e) {
            throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),
                                       e);
        }

        EventType eventType = rowChage.getEventType();
        System.out.println(String.format("================&gt; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                                         entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                                         entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                                         eventType));

        for (RowData rowData : rowChage.getRowDatasList()) {
            if (eventType == EventType.DELETE) {
                printColumn(rowData.getBeforeColumnsList());
            } else if (eventType == EventType.INSERT) {
                printColumn(rowData.getAfterColumnsList());
            } else {
                System.out.println("-------&gt; before");
                printColumn(rowData.getBeforeColumnsList());
                System.out.println("-------&gt; after");
                printColumn(rowData.getAfterColumnsList());
            }
        }
    }
}

private static void printColumn(List<Column> columns) {
    for (Column column : columns) {
        System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
    }
}

}

3.通过Canal对Elasticsearch增删改.

  • 如果直接biglog对此原始对象进行解析，那么会出现很多解析模板代码.通过注解加,策略模式让接收到biglog表名称直接转换为对应的DTO实例来更新Elasticsearch
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.TYPE)
public @interface CanalMapping {

    /**
     * 数据库
     */
    String database();

    /**
     * 表
     */
    String table();

}
  • 数据库,表映射
@Data
@Document(indexName = "product") //elasticsearch注解
@CanalMapping(database = "test", table = "product") //CanalBinLog对应的实体类
public class ProductEntity {
    @Id
    Long id;

    /**
     * 名称
     */
    @Field(type = FieldType.Text, searchAnalyzer = "ik_max_word", analyzer = "ik_max_word")
    String name;

    /**
     * 分类
     */
    @Field(type = FieldType.Keyword)
    String category;

    /**
     * 品牌
     */
    @Field(type = FieldType.Integer, searchAnalyzer = "ik_max_word", analyzer = "ik_max_word")
    String brand;


    @Field(type = FieldType.Keyword)
    private String type;

    /**
     * 价格
     */
    @Field(type = FieldType.Double)
    Double price;

}
  • 省略其他代码…
@Service
public class ProductService extends BaseCanalBinlogEventProcessor<ProductEntity> {

    @Autowired
    private ElasticsearchRestTemplate elasticsearchRestTemplate;

    @Override
    protected void processInsertInternal(CanalBinLogResult<ProductEntity> result) {
        updateOrSaveProductSearch(result.getAfterData());
    }

    @Override
    protected void processUpdateInternal(CanalBinLogResult<ProductEntity> result) {
        System.out.println(result.getAfterData().getId());
        updateOrSaveProductSearch(result.getAfterData());
    }

    @Override
    protected void processDeleteInternal(CanalBinLogResult<ProductEntity> result) {
        deleteProductSearch(result.getBeforeData());
    }

    @Override
    protected void processDDLInternal(CanalBinLogResult<ProductEntity> result) {
        elasticsearchRestTemplate.delete(result.getAfterData());
    }

    public void updateOrSaveProductSearch(ProductEntity productEntity) {
        elasticsearchRestTemplate.save(productEntity);
    }

    public void deleteProductSearch(ProductEntity productEntity) {
        System.out.println(productEntity.getId());
        elasticsearchRestTemplate.delete(productEntity);
    }
}
  • 演示
  • 通过Navicat操作mysq查询id=1的数据
    在这里插入图片描述
  • 更新id=1的name，观察日志
    在这里插入图片描述
  • 可以看到mysql更新就开始推送binary log给Slave（即Canal）
    在这里插入图片描述
  • 通过elasticsearchRestTemplate查看是否修改成功
    在这里插入图片描述

总结

把系统中elasticsearch解耦出来,Canal模拟MySQL Slave的交互协议，通过注解加,反射,策略模式让接收到biglog表名称直接转换为对应的DTO实例来更新Elasticsearch(省略反射,策略模式代码,其实实现不难主要是思路).

完

感谢您的阅读

如果你发现了错误的地方，可以在留言区提出来，我对其加以修改。

喜欢粉红的糙汉
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
es统计mysql 报表_Elasticsearch通过binlog同步数据索引在Grafana报表展示
weixin_39855634的博客
02-06 572
通常情况下服务系统会将数据持久化到Mysql中, 那么我们对业务数据报表的实时监控,会有很强的需求. 整体解决方案如下: 该解决方案对业务系统无侵入性,只需订阅mysql的binlog就可以实现.数据索引使用开源的go-mysql-elasticsearch组件.Mysql部分数据库为demo, 表结构如下:CREATE TABLE `active_info` (`id` bigint(20) N...
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的Http接口（接口定义见 ），待调用后开启后台线程，通过主键分批同步指定...
基于 MySQL Binlog 的 Elasticsearch 数据同步实践
chuyanhui8269的博客
07-15 1088
一、背景 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有...
基于MySQL binlog日志，实现Elasticsearch近实时同步实践
bianlifengtech的博客
09-16 643
目录 背景 增量同步 架构 Adapter设计思路 分场景处理 单表场景 多表简单场景 多表复杂场景 储存到ElasticSearch 关注特性 解决问题 小结 全量同步 概述 关注点 深分页和丢数据 全量增量互相影响 结语 作者 招聘官网 背景 在我们的开发过程中，经常会在一个项目中使用多种数据库系统。在一些特定场景下，我们希望把数据从一种数据库，同步到另一种异构的数据库，以便进行数据分析统计、完成实时监控、实时搜索等功能。这个异构数据源同步的过程称为Cha
基于canal实现mysql的数据同步
qq_39962403的博客
11-02 1438
canal是什么？ canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x ## 工作原理
基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
最新发布
06-17
基于 *canal* 的 *Mysql* 与 *Elasticsearch* 实时同步的 *javaweb* 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 ## 工作原理 ### 全量 暴露Http接口 > 读取数据库会加**读锁** > 主键必须为...
go-mysql-canal:数据库binlog监听，elasticsearch同步
03-28
go-mysql-canal:数据库binlog监听，elasticsearch同步
mysql-es:将MySQL同步到ElasticSearch，支持关系
05-26
一个具有实时，无损失，一对一关系MySQL-ElasticSearch同步工具。 基于， 。 运河是Bin-log解析器，也是阿里巴巴的订户 版本 1.0-beta：2018-09-04 说明书 ，请点击这里 要求 Java 1.8以上 2 GB内存+ 2核CPU + ...
canal-mysql-elasticsearch:通用的数据导入功能，实现canal导入mysql数据至es，提供查询的分布式性能
05-09
基于 canal 的 Mysql 与 Elasticsearch 实时同步的 javaweb 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 工作原理 全量 暴露Http接口（接口定义见），待调用后开启后台线程，通过主键分批同步...
Canal Mysql binlog 同步至 ElasticSearch 详细介绍
jast
09-23 860
文章目录数据同步ElasticSearch单表基本配置适配器映射文件详细介绍（单表、多表映射介绍）单表映射索引示例sql单表映射索引示例sql带函数或运算操作多表映射(一对一, 多对一)索引示例sql多表映射(一对多)索引示例sql其它类型的sql示例 本文详细介绍Canal 配置保存 ElasticSearch Canal从零配置使用参考：https://blog.csdn.net/zhangshenghang/article/details/120361721 数据同步ElasticSearch 我们接
实时同步mysql数据到Elasticsearch（1.开启Binlog日志）
ChengYanan的博客
06-01 2485
前言 - 项目模块 BinlogMiddleware 1、binlog中间件，负责解析binlog，把变动的数据以json形式发送到kafka队列。 KafkaMiddleware 2、kafka中间件，负责消费kafka队列中的Message，把数据写入Elasticsearch中。 - 基础服务 （1）Mysql （2）Kafka（用于存放mysql变动消息，存放于Kafka队列） （3）El...
基于 MySQL binlog 日志，实现 Elasticsearch 近实时同步实践
kiven
11-10 758
转载原地址：基于MySQL binlog日志，实现Elasticsearch近实时同步实践 背景 在我们的开发过程中，经常会在一个项目中使用多种数据库系统。在一些特定场景下，我们希望把数据从一种数据库，同步到另一种异构的数据库，以便进行数据分析统计、完成实时监控、实时搜索等功能。这个异构数据源同步的过程称为 Change Data Capture（变化数据捕获）。 我们本文讨论的是 Source 为 MySQL、Target 为 ElasticSearch 的场景下，进行增量和全量同步操作过程。众
Mysql通过LogStash同步数据到ElasticSearch
qq_30667039的博客
07-22 343
Mysql通过LogStash同步数据到ElasticSearch
ElasticSearch安装在SpringBoot下的使用,Mysql数据同步到ES:包含多表
weixin_42523841的博客
09-17 2734
ElasticSearch安装在SpringBoot下的使用,Mysql数据同步到ES:包含多表ElasticSearch安装在SpringBoot下的使用,Mysql数据同步到ES:包含多表ElasticSearch的下载以及安装SpringBoot整合ElasticSearchmysql数据同步到esES在springboot中的简单示例总结 ElasticSearch安装在SpringBoot下的使用,Mysql数据同步到ES:包含多表 ElasticSearch的下载以及安装 ElasticSear
Canal 采集MySQL binlog日志
qq_43528451的博客
04-25 5513
Canal 采集MySQL binlog日志 1、Canal 数据同步之MySQL binlog日志 ​ Canal是阿里巴巴开发数据实时同步框架，原理与OGG基本类似，都是捕获数据库日志数据，进行解析，将其发送到目标端（比如Kafka 消息队列）。新版Canal 1.1版本 针对MySQL数据库来说，日志数据：binlog日志，二进制日志。 binlog中存储四种类型日志数据：插入insert、更新update、删除delete和清空truncate。 默认情况下，MySQL数据库没有开启bin
es基于binlog实时同步
10-10
es基于binlog可以实现实时同步的方式有两种：基于canal插件和基于Debezium。 1. 基于canal插件：Canal是阿里巴巴开源的一款mysql binlog的增量订阅&消费组件。通过在MySQL的binlog层面解析和抓取变更数据，可以将数据同步到Elasticsearch中。Canal提供了高可靠的数据同步能力，并支持多种数据格式及自定义扩展。可以通过配置canal.properties文件来设置需要同步的数据库、表以及需要执行的同步操作。 2. 基于Debezium：Debezium是一个分布式平台，用于将数据库更改捕获并通过消息传递将其流式传输到其他系统。Debezium可以监控MySQL的binlog，并将变更数据作为事件流发送到消息中间件（如Kafka）中。然后可以使用Elasticsearch的Kafka Connect插件来连接Kafka和Elasticsearch，从而将变更数据实时同步到Elasticsearch中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值