Canal 实现MySQL与Elasticsearch7数据同步

已于 2023-09-21 11:53:28 修改
阅读量6.3w 收藏 2
点赞数 1
分类专栏： Elasticsearch 数据库 mysql 文章标签： mysql canal Elasticsearch
于 2023-09-21 11:49:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37284798/article/details/133129624
版权
数据库 同时被 3 个专栏收录
44 篇文章 2 订阅
订阅专栏
mysql
29 篇文章 0 订阅
订阅专栏
Elasticsearch
7 篇文章 1 订阅
订阅专栏

1 工作原理

  • canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送 dump协议

  • MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )

  • canal 解析 binary log 对象(原始为 byte 流)

优点： 可以完全和业务代码解耦，增量日志订阅。

缺点：实时性不高，订阅mysql日志，DB中数据事务成功后，开始同步至canal。

2 canal实现MySQL与Elasticsearch7数据同步

下面介绍下利用canal ，canal adapter实现MySQL与ES7数据同步

2.1 Mysql配置修改

在MySQL中需要创建一个用户，并授权：

-- 使用命令登录：mysql -u root -p 
-- 创建用户 用户名：canal  
create user 'canal'@'%' identified by 'canal'; 
-- 授权 .表示所有库 
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on . to 'canal'@'%' identified by 'canal';

下一步在MySQL配置文件my.cnf设置如下信息：

[mysqld] 
# 开启binlog 
log-bin=mysql-bin 
# 选择ROW(行)模式 
binlog-format=ROW 
# 配置MySQL replaction需要定义，不要和canal的slaveId重复 
server_id=1

改了配置文件之后，重启MySQL

2.2 下载Canal

下载最新的cana1.1.5并解压，1.1.5 才支持Elasticsearch7
下载地址:
canal.adapter-1.1.5-SNAPSHOT.tar.gz(适配器)
canal.deployer-1.1.5-SNAPSHOT.tar.gz(服务端)
在这里插入图片描述
canal.adapter为适配端,canal.deployer为服务端

2.3 启动Canal服务端

2.3.1 修改数据库配置

进入conf/example目录下，修改instance.properties为数据库配置
在这里插入图片描述

在这里插入图片描述

2.3.2 启动服务端

进入bin目录，双击starup.bat启动，出现下面界面，表明启动成功
在这里插入图片描述
在这里插入图片描述
服务端启动成功， 接下来进入客户端测试

2.4 启动Canal客户端

2.4.1 修改配置

进入adapter目录，修改application.yml
在这里插入图片描述
yml内容：

server:
  port: 8081
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8
    default-property-inclusion: non_null

canal.conf:
  mode: rocketMQ #tcp kafka rocketMQ rabbitMQ
  flatMessage: true
  zookeeperHosts:
  syncBatchSize: 1000
  retries: 0
  timeout:
  accessKey:
  secretKey:
  consumerProperties:
    # canal tcp consumer
    canal.tcp.server.host: 127.0.0.1:11111
    canal.tcp.zookeeper.hosts:
    canal.tcp.batch.size: 500
    canal.tcp.username:
    canal.tcp.password:
    # kafka consumer
    kafka.bootstrap.servers: 127.0.0.1:9092
    kafka.enable.auto.commit: false
    kafka.auto.commit.interval.ms: 1000
    kafka.auto.offset.reset: latest
    kafka.request.timeout.ms: 40000
    kafka.session.timeout.ms: 30000
    kafka.isolation.level: read_committed
    kafka.max.poll.records: 1000
    # rocketMQ consumer
    rocketmq.namespace:
    rocketmq.namesrv.addr: 127.0.0.1:9876
    rocketmq.batch.size: 1000
    rocketmq.enable.message.trace: false
    rocketmq.customized.trace.topic:
    rocketmq.access.channel:
    rocketmq.subscribe.filter:
    # rabbitMQ consumer
    rabbitmq.host:
    rabbitmq.virtual.host:
    rabbitmq.username:
    rabbitmq.password:
    rabbitmq.resource.ownerId:

#  srcDataSources:
#    defaultDS:
#      url: jdbc:mysql://127.0.0.1:3306/mytest?useUnicode=true
#      username: root
#      password: 121212
  canalAdapters:
  - instance: example # canal instance Name or mq topic name
    groups:
    - groupId: g1
      outerAdapters:
      - name: logger
#      - name: rdb
#        key: mysql1
#        properties:
#          jdbc.driverClassName: com.mysql.jdbc.Driver
#          jdbc.url: jdbc:mysql://127.0.0.1:3306/mytest2?useUnicode=true
#          jdbc.username: root
#          jdbc.password: 121212
#      - name: rdb
#        key: oracle1
#        properties:
#          jdbc.driverClassName: oracle.jdbc.OracleDriver
#          jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
#          jdbc.username: mytest
#          jdbc.password: m121212
#      - name: rdb
#        key: postgres1
#        properties:
#          jdbc.driverClassName: org.postgresql.Driver
#          jdbc.url: jdbc:postgresql://localhost:5432/postgres
#          jdbc.username: postgres
#          jdbc.password: 121212
#          threads: 1
#          commitSize: 3000
#      - name: hbase
#        properties:
#          hbase.zookeeper.quorum: 127.0.0.1
#          hbase.zookeeper.property.clientPort: 2181
#          zookeeper.znode.parent: /hbase
#      - name: es
#        hosts: 127.0.0.1:9300 # 127.0.0.1:9200 for rest mode
#        properties:
#          mode: transport # or rest
#          # security.auth: test:123456 #  only used for rest mode
#          cluster.name: elasticsearch
#        - name: kudu
#          key: kudu
#          properties:
#            kudu.master.address: 127.0.0.1 # ',' split multi address

2.4.2 创建索引， 根据同步sql数据至Elasticsearch中

调用http://127.0.0.1:9200/product(PUT请求)创建索引,product为索引名字

{
  "mappings" : {
    "properties" : {
      "attrs" : {
        "type" : "nested",
        "properties" : {
          "attrId" : {
            "type" : "long"
          },
          "attrName" : {
            "type" : "keyword"
          },
          "attrValueId" : {
            "type" : "long"
          },
          "attrValueName" : {
            "type" : "keyword"
          }
        }
      },
      "tags" : {
        "type" : "nested",
        "properties" : {
          "tagId" : {
            "type" : "long"
          },
          "seq" : {
            "type" : "integer"
          }
        }
      },
      "brandId" : {
        "type" : "long"
      },
      "brandImg" : {
        "type" : "keyword"
      },
      "brandName" : {
        "type" : "keyword"
      },
      "code" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "commentNum" : {
        "type" : "integer"
      },
      "createTime" : {
        "type" : "date"
      },
      "hasStock" : {
        "type" : "boolean"
      },
      "imgUrls" : {
        "type" : "keyword",
        "index" : false,
        "doc_values" : false
      },
      "mainImgUrl" : {
        "type" : "text",
        "fields" : {
          "keyword" : {
            "type" : "keyword",
            "ignore_above" : 256
          }
        }
      },
      "marketPriceFee" : {
        "type" : "long"
      },
      "priceFee" : {
        "type" : "long"
      },
      "saleNum" : {
        "type" : "integer"
      },
      "sellingPoint" : {
        "type" : "text",
        "analyzer" : "ik_max_word",
        "search_analyzer" : "ik_smart"
      },
      "shopId" : {
        "type" : "long"
      },
      "shopImg" : {
        "type" : "keyword",
        "index" : false,
        "doc_values" : false
      },
      "shopName" : {
        "type" : "text",
        "analyzer" : "ik_max_word",
        "search_analyzer" : "ik_smart"
      },
      "shopType" : {
        "type" : "integer"
      },
      "shopPrimaryCategoryId" : {
        "type" : "long"
      },
      "shopPrimaryCategoryName" : {
        "type" : "keyword"
      },
      "shopSecondaryCategoryId" : {
        "type" : "long"
      },
      "shopSecondaryCategoryName" : {
        "type" : "keyword"
      },
      "primaryCategoryId" : {
        "type" : "long"
      },
      "primaryCategoryName" : {
        "type" : "keyword"
      },
      "secondaryCategoryId" : {
        "type" : "long"
      },
      "secondaryCategoryName" : {
        "type" : "keyword"
      },
      "categoryId" : {
        "type" : "long"
      },
      "categoryName" : {
        "type" : "keyword"
      },
      "spuId" : {
        "type" : "long"
      },
      "spuName" : {
        "type" : "text",
        "analyzer" : "ik_max_word",
        "search_analyzer" : "ik_smart"
      },
      "spuStatus" : {
        "type" : "integer"
      },
      "success" : {
        "type" : "boolean"
      }
    }
  }
}

在这里插入图片描述

2.4.3 启动客户端

进入\canal.adapter-1.1.5-SNAPSHOT\bin 双击startup.bat 出现下面界面，表明启动成功
在这里插入图片描述

3 注意事项

3.1 使用队列

2.4.1中客户端配置需要配置队列,我使用的rocketmq,大家可以根据自己需要选择队列,根据选择的队列,需改配置

3.2 启动顺序

需要优先启动Mysql和Elasticsearch,然后启动Canal服务端,最后启动客户端

4 验证

当你在操作界面添加一个商品时,那么此时Elasticsearch也会同步这条数据,具体不展开来了

吴名氏.
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
SpringBoot整合Canal实现MySQL与ES数据同步_canaltable
2301_77054033的博客
04-15 249
(img-YFsVCFgS-1713154919584)]继承BaseMapper,整体操作都与MybatisPlus类似。可以看到，正在监听，只不过目前我们没有对数据库进行操作。通过测试方法查看ES中是否插入了这条数据。通过测试方法查看ES中是否插入了这条数据。包括对索引操作和对数据进行操作的接口。此时插入的这条数据被监听到了。我们在数据库新增一条数据。Service实现类。
canal_mysql_elasticsearch_sync：基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步
02-04
基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。 工作原理 全量 暴露的Http接口（接口定义见 ），待调用后开启后台线程，通过主键分批同步指定...
canal实现mysql到ES数据实时同步
07-11
canal实现mysql到ES数据实时同步
理解 ES7 之 async + await 同步 / 异步方案 以及 async / await 的前世今生
qq_32614411的博客
07-04 1097
未完待续
本地部署Canal笔记-实现MySQL与ElasticSearch7数据同步
Mr_Susy的博客
01-08 1267
本地搭建canal实现mysql数据到es的简单的数据同步，仅供学习参考 - 本地搭建MySQL数据库 - 本地搭建ElasticSearch - 本地搭建canal-server - 本地搭建canal-adapter
SpringBoot整合Canal实现MySQL与ES数据同步
m0_68681879的博客
09-12 1737
开始之前请确认docker中已运行mysql与canal容器，并完成了监听binlog配置。
✅技术社区—通过Canal框架实现MySQL与ElasticSearch的数据同步
weixin_62079735的博客
03-14 544
部署 Canal Server：首先需要在本地安装并启动 Canal Server，使其连接到你的 MySQL 数据库，并开始监听 Binlog 日志。配置 Elasticsearch：确保本地已经安装并启动 Elasticsearch。使用 Canal Adapter：Canal 提供了官方的 Adapter，用于将数据同步到 Elasticsearch。需要配置 Adapter 以连接到你的 Elasticsearch 实例。
使用Canal实现ElasticSearch和Mysql数据同步
cscodeer的博客
08-11 375
在实际项目开发中，当数据量规模非常大的时候，通常需要借助ElasticSearch（下面用ES代称）等搜索引擎来解决查询性能压力，但数据库和ES之间如何进行数据同步也是一个重要问题。同步的方案有很多，本文是使用Canal中间件，来模拟成MySQL的Slave，实时接收MySQL的增量数据binlog，然后通过RESTful API将数据写入到ES中。
使用canal实现mysql数据同步到elasticsearch的功能
weixin_45089791的博客
10-29 1785
使用canal实现mysql数据同步到elasticsearch的功能.需要实现一个场景, 优化搜索体验, 我们使用elasticsearch, 那该如何监听mysql数据修改时,也将elasticsearch的数据进行修改呢?
Canal实现Mysql数据同步至Redis、Elasticsearch
Zyw907155124的博客
09-20 1021
1.Canal简介;1.1 MySQL主备复制原理;1.2 canal工作原理;2.开启MySQL Binlog;3.安装Canal;4.SpringCloud集成Canal;4.3 canal配置多个数据同步的目的地;4.5 监听配置;4.8 canal整合异常问题排查思路;4.8.2 使用canal监听数据 启动成功了 没有报错 不过一直监听不到消息
使用canal解决Mysql和ElasticSearch数据同步问题
墨家巨子@俏如来
03-11 1万+
前言 在上一章《Canal实现Mysql和Redis数据同步》我们使用Canal对Mysql和Redis进行数据同步，这一章我们学习使用Canal对Mysql和ElasticSearch进行数据同步 工作原理分析 我不知道你是否了解Mysql主从，根据2/8原则，80%的性能问题都在读上面，当我们数据库的读并发较大的时候，我们可以使用Mysql主从来分担读的压力。它的原理是所有的写操作在主库上，读操作在从库上，当然主库也可以承担读请求，而从库的数据则通过主库复制而来，Mysql自带主从复制的功能。如下图
基于Canal的MySQL与Elasticsearch实时同步方案设计源码
最新发布
04-09
MySQL与Elasticsearch实时同步方案 - ...该项目为用户提供了一个基于Canal的MySQL与Elasticsearch实时同步方案，支持增量同步和全量同步，通过界面交互和功能模块，为用户提供了一个高效、易用的实时数据同步解决方案。
基于canal的mysql和elasticsearch实时同步源代码.zip
09-10
基于canal的mysql和elasticsearch实时同步源代码.zip
canal-mysql-elasticsearch:通用的数据导入功能，实现canal导入mysql数据至es，提供查询的分布式性能
05-09
基于 canal 的 Mysql 与 Elasticsearch 实时同步的 javaweb 服务。 canal是阿里巴巴mysql数据库binlog的增量订阅&消费组件。 工作原理 全量 暴露Http接口（接口定义见），待调用后开启后台线程，通过主键分批同步...
canal实时同步mysql数据到elasticsearch(部署，配置，测试)(一)
后端开发
02-23 2050
canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal，可以实现从MySQL到其他数据库的实时同步。
sql 关于一表多个主键唯一性的约束
热门推荐
吴名氏的博客
02-27 17万+
1.对于一般的表，我们只需设一个主键，防止重复，但是我们如果设置多个主键，是每个主键都有唯一性吗？还是多个主键组合起来具有唯一性 2.答案肯定是多个主键合起来具有唯一性，话说太多，现在上例子 3.例如,我建了有三个主键的表，如图： 4.我可以如下图所示添加数据，说明各个主键的唯一性不是单独的，如果是单独的，肯定无法添加了 5.但是我不可如下图，插入数据：  ...
Windows10下使用redis缓存（将mysql数据缓存到redis）
吴名氏的博客
01-08 17万+
Windows10下使用redis缓存（将mysql数据缓存到redis）
Java连接各种数据库（sql server ，mysql，oracle）以及相关易错点
吴名氏的博客
08-30 16万+
Java连接各种数据库（sql server ，mysql，oracle）以及相关易错点
canal实现mysql数据实时同步es
09-04
实现MySQL数据实时同步到Elasticsearch可以使用Canal工具。 Canal是阿里巴巴开源的一套基于数据库增量日志解析的数据同步和逆向解析工具，可以实时获取数据库的变更日志，然后将这些变更日志解析成数据并发送到指定的目的地。在实现MySQL数据实时同步到Elasticsearch中，可以使用Canal来实现以下步骤： 1. 安装配置Canal：首先，需要下载并安装Canal，并配置Canal的参数，如MySQL的地址、端口、用户名、密码等。 2. 创建Canal实例：根据实际需求，可以创建一个或多个Canal实例来监控和同步MySQL的变更日志。 3. 配置Elasticsearch目的地：配置Canal将变更日志发送到Elasticsearch作为同步的目的地。 4. 启动Canal实例：通过命令行或脚本启动Canal实例，让Canal开始监控MySQL的变更日志。 5. 解析并同步数据：Canal会实时监控MySQL的变更日志，一旦有变更，就会解析并发送到Elasticsearch。在Elasticsearch中，可以根据业务需求进行相应的处理，比如数据转换、数据筛选、数据拆分等，并将处理后的数据存储到Elasticsearch中。 通过以上步骤，就可以实现MySQL数据的实时同步到Elasticsearch中。Canal工具可以很好地解析MySQL的增量日志并将数据发送到Elasticsearch，保证数据的实时性和一致性。同时，Canal还支持分布式部署和高可用性，可以满足大规模数据同步的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吴名氏.

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值