centos 7安装canal并使用java代码结合canal监听数据库

最新推荐文章于 2024-06-06 12:05:53 发布
最新推荐文章于 2024-06-06 12:05:53 发布
阅读量650 收藏 1
点赞数 2
文章标签： centos linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15145603/article/details/132225868
版权

 

目录

一、什么是canal

二、为什么使用canal

三、canal的实现原理是什么 

四、在liunx上安装canal

  1.官方仓库下载

五、配置canal

1、查看mysql是否启用二进制日志

2、获取主从复制的状态

3.新建mysql中的canal用户

 4.修改canal配置文件

5.启动并查看启动日志

六、应用到项目中去

1.使用官方的客户端代码

Ⅰ、引入依赖

Ⅱ、项目中使用 

2.使用第三方客户端整合到spring boot  项目中

Ⅰ、git下载对应的整合包 ,并解压 

Ⅱ、idea打开，并安装到自己的maven仓库中  

 Ⅲ、启动类使用注解，并配置文件

Ⅳ、创建监听器 

一、什么是canal

Canal是阿里巴巴的数据同步工具，最初主要为了应对杭州和美国的双机房部署问题，目前也是国内互联网企业经常使用的数据增量同步解决方案。 Canal是一种开源的、基于数据库的分布式数据变更日志解析和传输的工具。它主要用于实时同步数据库的数据变更到其他系统，例如缓存、搜索引擎、数据仓库等。

Canal通过解析数据库的二进制日志（binlog），获取数据库的数据变更信息，并将这些变更信息按照事务的顺序进行组织和传输。它支持MySQL、Oracle等主流关系型数据库，并提供了丰富的API和插件，可以方便地对数据进行处理和扩展。

使用Canal可以实现数据的实时同步和灵活的数据处理。其主要特点包括：

  1. 实时性：Canal可以实时地解析和传输数据库的数据变更，保证数据的准确性和实时性。
  2. 灵活性：Canal支持自定义的数据处理逻辑，可以根据业务需求对数据进行过滤、转换和处理。
  3. 可靠性：Canal通过监控数据库的binlog来捕获数据变更，不会对数据库的性能和稳定性产生影响。
  4. 分布式架构：Canal支持分布式部署，可以在多台机器上进行协同工作，提高系统的吞吐量和可扩展性。

二、为什么使用canal

  1. 实时数据同步：Canal能够实时解析数据库的变更日志，将数据的变更信息传输到其他系统。这对于需要实时获取数据库变更并将其同步到其他业务系统（如缓存、搜索引擎、数据仓库等）的情况非常有用。通过Canal可以保证其他系统中的数据与数据库中的数据保持一致性，实现数据的实时同步。

  2. 数据分析和统计：利用Canal可以获取数据库的变更信息，进而进行数据分析和统计。比如，可以通过Canal将数据库中的数据变更传输到数据仓库或大数据平台，进行实时的数据分析和统计。这样可以实现对数据的实时监控、在线分析等功能，支持实时决策和业务优化。

  3. 数据库解耦和迁移：在微服务架构中，多个微服务可能依赖于同一个数据库。但是为了实现解耦和灵活部署，可以使用Canal将数据库的变更信息传输到每个微服务的本地缓存或数据库中。这样每个微服务就可以独立地操作自己的数据源，不会相互干扰，提高了系统的可伸缩性和性能。

  4. 数据备份和恢复：Canal可以将数据库的变更日志进行实时传输，可以用于数据备份和灾难恢复。通过Canal，可以将数据库的变更日志传输到备份服务器或云存储中，确保数据的安全性和可靠性。在出现数据库故障或数据丢失的情况下，可以根据备份的变更日志进行数据的快速恢复。

三、canal的实现原理是什么 

是伪装成mysql主从复制（Master-Slave Replication）架构中的从属角色的数据库服务器，来实现功能。

  1. Canal将自己伪装为MySQL的slave，通过向MySQL的master发送dump协议请求，获取数据库的初始数据快照。

  2. MySQL的master接收到dump协议请求后，会将数据快照发送给Canal，同时将之后的数据修改操作以二进制日志（binary log）的形式推送给Canal。

  3. Canal解析接收到的binary log，将其转换为增量数据变更。它会逐条解析binary log事件，包括事务的开始和提交，以及对表的数据进行的插入、更新和删除操作等。

  4. Canal组织并传输增量的数据变更消息给其他系统，如Elasticsearch（ES）、Redis等。这些消息包含变更类型（插入、更新、删除）、表名、字段名和对应的变更值等信息。

  5. 接收到数据变更消息的其他系统可以根据业务需求进行数据处理和消费。例如，将变更消息写入ES进行全文搜索，或者更新缓存中的数据，以实现实时同步、数据分析和统计等功能。

四、在liunx上安装canal


  1.官方仓库下载


Releases · alibaba/canal (github.com)

点击版本号就能进入下载
 

canal.adapter-1.1.7-SNAPSHOT.tar.gz（236 MB）：这是Canal的适配器（adapter）组件。它用于将Canal的变更事件传递给其他数据存储或消息队列系统，例如Kafka、RocketMQ等。 canal.admin-1.1.7-SNAPSHOT.tar.gz（37.5 MB）：这是Canal的管理后台（admin）组件。它提供了一个Web界面，用于管理和监控Canal实例的配置和状态。
canal.deployer-1.1.7-SNAPSHOT.tar.gz（102 MB）：这是Canal的部署者（deployer）组件。它用于在集群环境下管理和部署Canal实例。
canal.example-1.1.7-SNAPSHOT.tar.gz（23.1 MB）：这是Canal的示例（example）组件。它包含了一些使用Canal的示例代码和配置文件，可以帮助您更好地理解和使用Canal。


Source code (zip) 和 Source code (tar.gz)：这是Canal的源代码压缩包，分别以zip和tar.gz格式提供。如果想查看Canal的源代码，或者进行自定义编译和定制化部署，可以下载这些压缩包。

如果您只需要使用Canal作为数据变更的中间件，并将变更事件传递给其他系统进行处理，那么只需要下载和安装canal.adapter-1.1.7-SNAPSHOT.tar.gz即可。

而如果您需要在分布式环境中使用Canal，并管理多个Canal实例，则需要下载和安装canal.deployer-1.1.7-SNAPSHOT.tar.gz

我们要部署到项目中所以下载 canal.deployer-1.1.7-SNAPSHOT.tar.gz（102 MB）
点击之后就能下载

下载完成之后使用 finalshell 将压缩包拖入 /usr/local  然后canal新建文件夹，将其解压到文件夹中

cd /usr/local
mkdir canal
tar -vxf canal.deployer-1.1.7-SNAPSHOT.tar.gz -C canal

五、配置canal


1、查看mysql是否启用二进制日志

SHOW VARIABLES LIKE '%log_bin%'


log_bin：指示是否启用二进制日志。如果值为 ON，则表示启用；如果值为 OFF，则表示禁用。

log_bin_basename：指定二进制日志文件的基本名称。

log_bin_index：指定二进制日志索引文件的位置。

log_bin_trust_function_creators：控制是否信任具有 SUPER 权限的创建函数的用户。

我们要确保 log_bin为ON，我这里是默认配置所以为ON，但是默认的配置并不方便我们后续使用

 我们要去配置文件那里修改 一般liunx的配置在/etc/my.cnf

cd /etc
vi my.cnf

最低0.47元/天 解锁文章
qq_15145603
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
超详细的Canal入门，看这篇就够了！
yehongzhi1994的博客
08-09 21万+
Canal入门看这篇就够了！
Canal——数据同步
weixin_43241803的博客
03-15 4411
Canal——数据同步
canal+kafka实现mysql与redis数据同步(centos7)
村长在路上
12-08 1263
目前cannal的最新版支持三种消息队列，kafka , rocketmq(有bug) rabbitMq 因此本文使用kafka作为mysql同步数据到redis的消息队列。./bin/kafka-server-start.sh -daemon config/kraft/server.properties 后台启动。./bin/kafka-server-start.sh config/kraft/server.properties 前端启动。查看topic名称为devops的消息内容。
Linux下Canal安装和使用.doc
06-10
Linux下Canal安装和使用
Canal数据同步
最新发布
zhuge_long的专栏
06-06 1015
早期阿里巴巴在杭州和美国部署机房，存在跨机房同步的业务需求，最初的实现是基于业务触发的方式 ，不是是很方便， 2010 年，逐步使用数据库日志解析方式取代，这由此衍生出了大量的数据库增量订阅和消费操作。在这种背景下Canal就出来了。2014年左右，天猫双十一首次引入，用于解决大型促销活动MySQL 数据库的高并发读写问题。后来，在阿里内部得到了广泛应用和推广，并于2017年正式开源。
大数据同步工具Canal
赵广陆
03-14 5832
目录1 什么是canal2 canal能做什么3 如何搭建canal3.1 首先有一个MySQL服务器3.2 安装canal 1 什么是canal 我们先看官网的介绍 canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 这句介绍有几个关键字：增量日志，增量数据订阅和消费。 这里我们可以简单地把canal理解为一个用来同步增量数据的一个工具。 接下来我们看一张官网提供的示意图： canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL
canal介绍
wuyuzhou_12345的博客
05-26 4409
canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费的一种中间件
深入理解Canal
RuiKe的博客
09-22 3683
Canal是一款基于数据库增量日志订阅和消费的开源产品，它能够捕获数据库的变更数据，并把这些变更数据传递给其他系统。（官网目前只支持mysql，支持pg等得用插件）它的作用是实时监控数据库变更，并将变更数据传输给其他系统，用于数据同步、数据分析等场景。
Centos7 安装达梦数据库的教程
09-14
在本教程中，我们将深入探讨如何在CentOS7上安装达梦数据库。达梦数据库是一款高效、安全的国产关系型数据库管理系统，适用于大型企业级应用。以下是一步一步的安装指南： 1. **准备工作** 在开始安装之前，确保你...
虚拟机centos7使用mobaxterm安装oracle19c单实例数据库
09-12
虚拟机centos7使用mobaxterm安装oracle19c单实例数据库每一步具体设置详细截图
在CentOS 7环境下安装Redis数据库详解
09-09
在 CentOS 7 环境下安装 Redis 数据库是一个简单而重要的步骤，因为 Redis 是一个高性能的键值存储系统，广泛用于缓存、消息代理和其他数据处理场景。本篇文章将详细讲解如何在 CentOS 7 上安装和配置 Redis，以及...
CentOS7 安装 MySQL 数据库
04-12
至此，你已经成功地在CentOS7上安装并配置了MySQL5.7数据库，包括设置root用户的新密码并允许远程访问。这只是一个基础的配置，实际环境中可能还需要考虑安全加固、数据备份、性能优化等更多细节。在进行生产环境...
canal - 数据同步工具
weixin_44610169的博客
12-29 5022
在前面Echarts - 实现图表显示中，我们使用了服务调用（统计表中的信息通过调用用户模块服务来获取）获取统计信息，这样耦合度高，效率相对较低，目前有另一种方法，通过实时同步数据库表的方法实现。例如每天统计登录注册人数，我们只需要把用户表同步到统计库中，实现本地统计就可以了，这样效率更高，耦合度更低，canal就是一个数据库同步工具。也可以将mysql数据库中的数据同步到中间件。 canal是阿里巴巴旗下的一款开源项目，纯java开发。基于数据库增量日志解析，提供增量数据订阅与消费。
CentOS安装canal
JemeryShen的专栏
08-08 1001
centOs安装canal
在Centos7上安装和配置canal
u011197085的博客
05-04 1010
完成以上步骤后，你就可以在 Canal 配置文件中使用新创建的 canal 账户连接到 MySQL 数据库了。在实际应用中，您可能还需要配置其他组件，例如canal.adapter、canal.admin等，具体取决于您的需求。是的，为了能够让 Canal 实时地获取 MySQL 的数据变更，你需要在 MySQL 中开启二进制日志（binlog）功能，并确保 binlog 格式为 ROW。在安装 Canal 前，你需要在 MySQL 数据库中创建一个用于 Canal 连接的账户，并为该账户授予必要的权限。
canal简介
热门推荐
guanfengliang的专栏
07-15 1万+
阿里开源canal简介 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 1.背景 阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger(触发器)的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪
了解canal，看这个就够了
八荒六合唯我独尊
04-21 1726
https://blog.csdn.net/zhouyan8603/article/details/108612575 一. canal概述 canal是Alibaba旗下的一款开源项目,纯Java开发.它是基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持mysql。 应用场景： 1.数据同步，比如：做在线、离线数据库之间的数据同步操作； 2.数据消费，比如：需要根据关注的数据库表的变化，做搜索增量； 3.数据脱敏，比如：需要将线上动态数据导入到其他地方，做数据脱敏。 二.
Cannal监听binlog
qq_41810415的博客
09-01 2643
这个cannal与美团中的DTS比较类似，业务需求中可能监听表的插入、更新、删除的操作，然后发送mafka消息。
【Canal】从原理、配置出发，从0到1完成Canal搭建
阿Q的小窝
07-03 9831
前几天在网上冲浪的时候发现了一个比较成熟的开源中间件——Canal。在了解了它的工作原理和使用场景后，顿时产生了浓厚的兴趣。今天，就让我们跟随阿Q的脚步，一起来揭开它神秘的面纱吧。
centos7安装eclipse并使用
04-10
安装Eclipse并使用的方法如下： 1. 下载Eclipse软件。你可以在Eclipse官网上下载最新版本的软件。选择适合你的操作系统的版本。 2. 解压Eclipse软件。选择一个你想要存储的位置并解压文件。 3. 安装Java。Eclipse需要Java运行。如果你还没有安装Java，你需要先从官网下载并安装它。 4. 打开Eclipse软件。进入解压缩后的文件目录，并双击eclipse.exe。 5. 选择安装路径。第一次打开Eclipse时，你需要选择一个工作空间。 6. 配置Eclipse。Eclipse还需要配置Java安装路径。在菜单中，选择Window->Preferences->Java->Installed JREs，并选择配置好的Java版本。 7. 创建一个新项目。在菜单中，选择File->New->Java Project，然后按照提示进行相应设置。 8. 运行程序。在项目中选中Main方法，并按下Ctrl+F11启动程序。 希望这些步骤对你安装和使用Eclipse有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值