SpringBoot整合Canal实现数据同步到ElasticSearch(1)

最新推荐文章于 2024-10-21 21:00:39 发布
最新推荐文章于 2024-10-21 21:00:39 发布
阅读量309 收藏 6
点赞数 4
分类专栏： 2024年程序员学习 文章标签： spring boot elasticsearch 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84167005/article/details/137490283
版权
本文介绍了如何使用SpringBoot结合Canal实现MySQL数据到ElasticSearch的同步。详细步骤包括：开启MySQL binlog，下载与配置Canal，启动Canal服务，搭建Canal-Admin可视化管理，以及在SpringBoot项目中配置Canal监听数据变更并同步到ElasticSearch。
摘要由CSDN通过智能技术生成

image-20221212172629039

image-20221212172943343

重启MySQL服务：

image-20221212173154311

再次使用命令查看是否已经开启binlog日志，ON代表已经成功开启

image-20221212173335612

**提示：**binlog文件的位置：如果在修改my.ini的binlog时给的是全路径，那么生成的日志文件就在指定的目录下；如果添加配置时只给一个名字，那么生成的binlog日志的位置为

image-20221213093731336

四、Canal的配置和启动

4.1 下载Canal

Canal的下载：

  • 官方文档：https://github.com/alibaba/canal/wiki
  • 项目地址：https://github.com/alibaba/canal
  • 下载地址：https://github.com/alibaba/canal/releases

进入下载地址，选择Canal下载，我这里下载的是windows版本，如果你是linux版本的可以选择不同的版本下载，也可以使用docker搭建

image-20221213095119709

4.2 修改canal配置

image-20221213095448600

position info 你的MySQL的主机和端口

canal.instance.master.address=127.0.0.1:3306

username/password 连接MySQL的用户名和密码

canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8

4.3 启动Canal

在canal.deployer-1.1.7-SNAPSHOT\bin目录下，双击startup.bat即可启动

image-20221213095832279

image-20221213095852682

查看是否启动成功：

最低0.47元/天 解锁文章
2401_84167005
关注
专栏目录
springboot整合canal
congge
01-26 1万+
springboot整合canal
SpringBoot整合Canal实现数据同步到ElasticSearch，2024年最新2024年字节跳动、阿里等大厂大数据开发面试题
2301_77054033的博客
04-15 1059
在监听类上实现ApplicationRunner接口,springBoot项目启动时，若想在启动之后直接执行某一段代码，就可以用 ApplicationRunner这个接口，并实现接口里面的run(ApplicationArguments args)方法，方法中写上自己的想要的代码逻辑。项目pom文件中导入的canal版本需要和本地（或服务器）上启动的canal版本保持一致，否则会有代码中连接不上本地canal的情况，本案例采用的是canal 1.6版本。看到上述截图，代表Canal的服务端已经搭建成功。
springboot集成canal
qq_38899062的博客
08-03 1110
项目上需要一个app，但是他们没有公网服务器，所以就在自家公网服务器开了一个mysql，项目上的服务器是能访问外网的，所以canal完美适配了这个需求。原理简介：canal服务端模拟mysql主从协议伪装成从数据库，从而读取主库的binlog，我们使用canal客户端自定义数据同步规则。有点感叹需求就是最好的老师,但是完不成需求就不好玩了。具体命令根据你的服务器类型决定。
使用canal增量同步ES索引库数据
ZHUSHANGLIN的博客
08-23 1379
canal主要用途是基于 MySQL 数据库增量日志解析，并能提供增量数据订阅和消费，应用场景十分丰富。github地址：https://github.com/alibaba/canal版本下载地址：https://github.com/alibaba/canal/releases文档地址：https://github.com/alibaba/canal/wiki/Docker-QuickStartCanal应用场景。
SpringBoot整合Canal实现数据同步
MMF博客园
05-21 729
SpringBoot整合Canal实现数据同步
Canal整合SpringBoot详解（二）
Yyyy的博客
10-28 244
Canal整合SpringBoot详解（二）
SpringBoot整合Canal实现数据同步到ElasticSearch
2401_84167005的博客
04-08 646
外链图片转存中…(img-z53ehebC-1712535332576)][外链图片转存中…(img-l65Hriws-1712535332577)]
SpringBoot整合Canal实现数据同步到ElasticSearch，2024年最新你连原理都还没弄明白
2401_84167086的博客
04-17 781
canal 译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal原理就是伪装成mysql的从节点，从而订阅master节点的binlog日志canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议mysql master收到dump请求，开始推送binary log给slave(也就是canal)
SpringBoot整合Canal实现MySQL与ES数据同步_canaltable
2401_84167086的博客
04-17 215
继承BaseMapper,整体操作都与MybatisPlus类似。添加扫描ESMapper的注解，指定路径。包括对索引操作和对数据进行操作的接口。Service实现类。
springboot+canal+mysql+redis缓存双写一致性
名字好难想
09-18 604
canal官网地址：https://github.com/alibaba/canal/wiki/QuickStart基本上按照官网的步骤来就行。
canal同步
qq_45270898的博客
10-11 594
canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。 canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。 阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 6.1 Canal工作原理 MySQL中的binlog日志：面试，mysql数据如何备份，开启binlog日志即可（ red...
canal同步es
qq_38427463的博客
01-13 464
Canal是阿里巴巴开源的一个组件，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。canal的介绍，在上的官方文档介绍的很好，我这边就不介绍了。感兴趣的查看git地址：https://github.com/alibaba/canal。
Canal数据同步
最新发布
kelvin的博客
10-21 481
Canal 是阿里巴巴开源的一个用于数据库增量订阅和消费的中间件，常用于数据同步和实时数据处理。canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的。如果是云服务器，记得给11111端口放行。当前linux系统的数据库ip。
一篇文章让你上手Canal数据同步神技~
langfeiyes的博客
05-16 3827
从0开始讲解Canal基本使用，教程中包含：canal概念， canal原理，canal操作步骤，canal数据编程，canal运用场景，结合Springboot 实现canal集成，最后以面试题方式回顾整个canal使用
Canal同步数据
qq_43409401的博客
01-10 2107
Canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。
SpringBoot整合Canal实现MySQL与ES数据同步
m0_68681879的博客
09-12 2264
开始之前请确认docker中已运行mysql与canal容器，并完成了监听binlog配置。
Canal 同步 (集群版)
sdfsfaf的博客
01-25 1499
Canal 阿里云RDS同步到Mysql
SpringBoot与Canal整合：实时数据同步指南
在SpringBoot项目中整合Canal主要是为了能够实时同步数据库的变更数据到应用中，实现数据的动态更新，降低系统间耦合度，提高系统的响应速度和可扩展性。 4. 实现步骤： a. 引入Canal依赖：在SpringBoot项目的pom...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值