Canal技术学习

最新推荐文章于 2022-07-10 21:57:46 发布
最新推荐文章于 2022-07-10 21:57:46 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： canal 文章标签： mysql 数据库 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44213904/article/details/122294203
版权
本文介绍了Canal作为数据库增量数据订阅与消费中间件的工作原理和使用场景，详细讲解了MySQL的Binlog概念、格式及其实现主从复制的过程。在MySQL准备部分，涉及开启Binlog、测试验证以及权限设置。此外，还展示了Canal的下载、安装及配置，包括TCP模式和Kafka模式的实时监控测试。通过实例展示了如何监听数据库变更并同步到缓存或进行实时统计。
摘要由CSDN通过智能技术生成

Canal技术学习

这篇内容是我看尚硅谷教程的时候，找到的文档，放在这个地方，方便以后查看学习。

1、Canal相关知识

1.1 什么是Canal？

​ 阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

​ Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

1.2 MySQL 的 Binlog

1.2.1 什么是Binlog?

​ MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL (用于定义SQL模式、基本表、视图和索引的创建和撤消操作)和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

  1. MySQL Replication 在Master 端开启Binlog，Master 把它的二进制日志传递给Slaves来达到 Master-Slave 数据一致的目的。
  2. 自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。
1.2.2 Binlog格式的分类

​ MySQL Binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别：

  1. statement:语句级，binlog会记录每次一执行写操作的语句，相对row模式节省空间，但是可能会产生不一致性，比如“update tt set create_date=now()”，如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

    ​ 优点：节省空间。

    ​ 缺点：有可能造成数据不一致

  2. row: 行级，binglog会记录每次操作后每行记录的变化。
    优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。

    缺点：占用较大空间

  3. mixed: statement的升级版，一定程度上解决了，因为一些情况而造成的Statement 模式不一致问题，默认还是 statement，在某些情况下譬如：当函数中包含 UUID() 时；包含AUTO_INCREMENT 字段的表被更新时；执行 INSERT DELAYED 语句时；用 UDF 时；会按照ROW 的方式进行处理

    优点：节省空间，同时兼顾了一定的一致性

    缺点： 还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对binlog 的监控的情况都不方便。

1.3 Canal的工作原理

1.3.1 MySql 主从复制过程

1） Master 主库将改变记录，写到二进制日志(Binary Log)中；

2） Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；

3） Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

1.3.2 Canal的工作原理

Canal就是把自己伪装成Slave，假装从Master复制数据。

1.4 使用场景

1）原始场景： 阿里 Otter 中间件的一部分，Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。

在这里插入图片描述

2）常见场景：

  1. 更新缓存

​ 详细说明：当应用查询数据时，首先从缓存服务器中查询数据，如果缓存中没有就去数据库中查询。 在写入数据时，首先写入数据库，对数据库进行更新，然后写入监控数据库，最后同步缓存到缓存服务器中。

​ 2.抓取业务表的新增变化数据，用于制作实时统计（我们就是这种场景）

2、MySQL的准备

2.1 创建数据库

2.2 创建数据库表

2.3 修改配置文件开启Binlog

[atguigu@hadoop102 module]$ sudo vim /etc/my.cnf
server-id=1
log-bin=mysql-bin 
binlog_format=row 
binlog-do-db=gmall-2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置，则表示所有数据库均开启Binlog

2.4 重启MySQL使配置生效

sudo systemctl restart mysqld

接着到/var/lib/mysql 目录下查看文件

[atguigu@hadoop102 lib]$ pwd
/var/lib
[atguigu@hadoop102 lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql	56 8 月	7 2020 auto.cnf
drwxr-x---. 2 mysql mysql	4096 9 月 25 2020 azkaban
-rw-------. 1 mysql mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 ca.pem
drwxr-x---  2 mysql mysql	4096 8 月 18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 client-cert.pem
-rw-------. 1 mysql mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---. 2 mysql mysql	4096 9 月 25 2020 gmall_report
-rw-r-----  1 mysql mysql	1085 12 月 1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x---  2 mysql mysql	4096 9 月   22 15:30 maxwell
drwxr-x---. 2 mysql mysql	4096 8 月 12 2020 metastore
drwxr-x---. 2 mysql mysql	4096 9 月 22 15:43 mysql
-rw-r-----. 1 mysql mysql	154 12 月 13 08:45 mysql-bin.000001
-rw-r-----  1 mysql mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx  1 mysql mysql	0 12 月 13 08:45 mysql.sock
-rw-------  1 mysql mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql	4096 8 月	7 2020 performance_schema
-rw-------. 1 mysql mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--. 1 mysql mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 server-cert.pem
-rw-------. 1 mysql mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---. 2 mysql mysql	12288 8 月	7 2020 sys
drwxr-x---  2 mysql mysql	4096 2 月	2 2021 test [atguigu@hadoop102 lib]$

2.5 测试Binlog是否开启

1、插入数据

INSERT INTO user_info VALUES('1001','zhangsan','male');

2、再次到/var/lib/mysql 目录下，查看index 文件的大小

[atguigu@hadoop102 lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql	56 8 月	7 2020 auto.cnf
drwxr-x---. 2 mysql mysql	4096 9 月 25 2020 azkaban
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 ca.pem
drwxr-x---	2	mysql	mysql	4096 8 月 18 16:56 cdc_test
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 client-cert.pem
-rw	--.	1	mysql	mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---.	2	mysql	mysql	4096 9 月 25 2020 gmall_report
-rw-r-----	1	mysql	mysql	1085 12 月 1 09:12 ib_buffer_pool
-rw-r-----.	1	mysql	mysql	79691776 12 月 13 08:45 ibdata1
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile0
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile1
-rw-r-----	1	mysql	mysql	12582912 12 月 13 08:45 ibtmp1
drwxr-x---	2	mysql	mysql	4096 9 月 22 15:30 maxwell
drwxr-x---.	2	mysql	mysql	4096 8 月 12 2020 metastore
drwxr-x---.	2	mysql	mysql	4096 9 月 22 15:43 mysql
-rw-r-----.	1	mysql	mysql	452 12 月 13 08:45 mysql-bin.000001
-rw-r-----	1	mysql	mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx	1	mysql	mysql	0 12 月 13 08:45 mysql.sock
-rw-------	1	mysql	mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---.	2	mysql	mysql	4096 8 月	7 2020 performance_schema
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--.	1	mysql	mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 server-cert.pem
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---.	2	mysql	mysql	12288 8 月	7 2020 sys
drwxr-x---  2 mysql mysql	4096 2 月	2 2021 test
[atguigu@hadoop102 lib]$

2.6 赋权限

在MySQL中执行

mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0;
mysql>	GRANT	SELECT,	REPLICATION	SLAVE,	REPLICATION	CLIENT	ON	*.*	TO
'canal'@'%' IDENTIFIED BY 'canal' ;

3 Canal的下载和安装

3.1 下载并解压Jar包

下载链接 github下载

我们直接/2.资料下的 canal.deployer-1.1.2.tar.gz 拷贝到/opt/sortware 目录下，然后解压到/opt/module/canal 包下

注意canal解压后分散的，我们在指定解压目录的时候需要将canal

atguigu@hadoop102 software]$ mkdir /opt/module/canal
          tar	-zxvf	canal.deployer-1.1.2.tar.gz	-C    /opt/module/cana

3.2 修改canal.properties的配置

[atguigu@hadoop102 conf]$ pwd
/opt/module/canal/conf
[atguigu@hadoop102 conf]$ vim canal.properties #################################################
#########	common argument	############# #################################################
canal.id = 1 canal.ip = canal.port = 11111
canal.metrics.pull.port = 11112 canal.zkServers =
# flush data to zk canal.zookeeper.flush.period = 1000 
canal.withoutNetty = false
# tcp, kafka, RocketMQ
canal.serverMode = tcp
# flush meta cursor/parse position to file

说明： 这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的输出 model，默认 tcp，改为输出到kafka

​ 多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。

#################################################
#########	destinations	############# #################################################
canal.destinations = example

3.3 修改instance.properties

​ 我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

[atguigu@hadoop102 example]$ pwd
/opt/module/canal/conf/example
[atguigu@hadoop102 example]$ vim instance.properties

  1. 配置MySQL服务器地址

    #################################################
## mysql serverId , v1.0.26+ will autoGen canal.instance.mysql.slaveId=20

# enable gtid use true/false canal.instance.gtidon=false

# position info canal.instance.master.address=hadoop102:3306

  2. 配置连接 MySQL 的用户名和密码，默认就是我们前面授权的canal

    # username/password
canal.instance.dbUsername=canal canal.instance.dbPassword=canal canal.instance.connectionCharset = UTF-8 canal.instance.defaultDatabaseName =test # enable druid Decrypt database password canal.instance.enableDruid=false

    4 实时监控测试

    4.1 TCP模式测试

    4.1.1 创建 gmall-canal项目

在这里插入图片描述
在这里插入图片描述

4.1.2 在gmall-canal模块中配置pom.xml
<dependencies>
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.1.2</version>
</dependency>

<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.4.1</version>
</dependency>
</dependencies>
4.1.3 通用监视类 CanalClient

  1. Canal封装的数据结构
    在这里插入图片描述

  2. 在 gmall-canal 模块下创建 com.atguigu.app 包，并在包下创建 CanalClient（ java 代码）

    import com.alibaba.fastjson.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import com.alibaba.otter.canal.protocol.CanalEntry; import com.alibaba.otter.canal.protocol.Message; import com.atguigu.constants.GmallConstants;
import com.atguigu.utils.MyKafkaSender; import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;

import java.net.InetSocketAddress; import java.util.List;
import java.util.Random;

public class CanalClient {
public	static	void	main(String[]	args)	throws InvalidProtocolBufferException {

//1.获取 canal 连接对象
CanalConnector	canalConnector	= CanalConnectors.newSingleConnector(new InetSocketAddress("hadoop102", 11111), "example", "", "");

while (true) {
//2.获取连接
    canalConnector.connect();
//3.指定要监控的数据库canalConnector.subscribe("gmall.*");

//4.获取 Message
Message message = canalConnector.get(100);

List<CanalEntry.Entry> entries = message.getEntries(); if (entries.size() <= 0) {
System.out.println("没有数据，休息一会"); try {
Thread.sleep(1000);
} catch (InterruptedException e) { e.printStackTrace();
}
} else {
for (CanalEntry.Entry entry : entries) {

//TODO 获取表名
String	tableName	= entry.getHeader().getTableName();

// TODO Entry 类型
CanalEntry.EntryType	entryType	= entry.getEntryType();

// TODO 判断 entryType 是否为 ROWDATA if
(CanalEntry.EntryType.ROWDATA.equals(entryType)) {

// TODO 序列化数据
ByteString storeValue = entry.getStoreValue();

// TODO 反序列化
CanalEntry.RowChange	rowChange	= CanalEntry.RowChange.parseFrom(storeValue);
//TODO 获取事件类型
CanalEntry.EventType	eventType	= rowChange.getEventType();
//TODO 获取具体的数据
List<CanalEntry.RowData>	rowDatasList	= rowChange.getRowDatasList();
//TODO 遍历并打印数据
for (CanalEntry.RowData rowData : rowDatasList)
{
List<CanalEntry.Column> beforeColumnsList =
rowData.getBeforeColumnsList();
JSONObject beforeData = new JSONObject(); 
    for	(CanalEntry.Column	column beforeColumnsList) {
        beforeData.put(column.getName(),column.getValue());
        JSONObject afterData = new JSONObject(); List<CanalEntry.Column> afterColumnsList =
rowData.getAfterColumnsList();
for	(CanalEntry.Column	column	:
afterColumnsList) {
afterData.put(column.getName(),
column.getValue());
}
System.out.println("TableName:" + tableName
+
",EventType:" + eventType + ",After:" + beforeData + ",After:" + afterData);
									}
								}
							}
						}
					}
				}
			}

4.2 Kafka模式测试

  1. 修改 canal.properties 中 canal 的输出 model，默认 tcp，改为输出到kafka

    #################################################
#########	common argument	############# #################################################
canal.id = 1 canal.ip = canal.port = 11111
canal.metrics.pull.port = 11112 canal.zkServers =
# flush data to zk canal.zookeeper.flush.period = 1000 canal.withoutNetty = false
# tcp, kafka, RocketMQ canal.serverMode = kafka
# flush meta cursor/parse position to file

  2. 修改 Kafka 集群的地址

    ################################################## #########	MQ	############# ##################################################
canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092

  3. 修改 instance.properties 输出到 Kafka 的主题以及分区数

    # mq config canal.mq.topic=canal_test canal.mq.partitionsNum=1

# hash partition config #canal.mq.partition=0
#canal.mq.partitionHash=mytest.person:id,mytest.role:id

    注意：默认还是输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱 binlog 的顺序， 如果要提高并行度， 首先设置 kafka 的分区数>1, 然后设置canal.mq.partitionHash 属性

  4. 启动Canal

    [atguigu@hadoop102 example]$ cd /opt/module/canal/ [atguigu@hadoop102 canal]$ bin/startup.sh

  5. 看到CanalLauncher 你表示启动成功，同时会创建 canal_test 主题

    [atguigu@hadoop102 canal]$ jps 
2269 Jps
2253 CanalLauncher
[atguigu@hadoop102 canal]$

  6. 启动 Kafka 消费客户端测试，查看消费情况

    [atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test

  7. 向 MySQL 中插入数据后查看消费者控制台

    插入数据
INSERT INTO user_info VALUES('1001','zhangsan','male'),('1002','lisi','female');
kafka消费者控制台
{"data":[{"id":"1001","name":"zhangsan","sex":"male"},{"id":"1002 ","name":"lisi","sex":"female"}],"database":"gmall-
2021","es":1639360729000,"id":1,"isDdl":false,"mysqlType":{"id":"
varchar(255)","name":"varchar(255)","sex":"varchar(255)"},"old":n
ull,"sql":"","sqlType":{"id":12,"name":12,"sex":12},"table":"user
_info","ts":1639361038454,"type":"INSERT"}
暮起
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
canal学习笔记（原理与环境搭建）
haozz的博客
03-29 406
Canal学习笔记 项目 canal: [kə’næl]中文翻译为渠道，运河，管道 是阿里开源的使用Java开发的用于MySQL数据库增量日志数据的订阅、消费和解析 历史背景： 早期阿里在杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基于业务trigger（触发器）获取增量变更。从2010年开始，阿里逐渐尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal项目 ...
技术分享1：canal原理及安装、使用
KongMingJue的博客
07-31 501
最近leader建议小组内每个成员选一个主题，一个月分享一次新技术的学习成果。于是就有了这篇文章的诞生。 0、canal原理 1.canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议； 2.mysql master收到dump请求，开始推送binary log给slave（也就是canal）； 3.canal解析...
canal学习
才子佳人的博客
06-20 304
什么是canal 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的b...
Canal学习
liwenyang1992的专栏
07-10 593
Canal数据异构 Kafka Redis MySQL
谈谈对Canal（增量数据订阅与消费）的理解
weixin_34123613的博客
09-08 578
概述 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql（也支持mariaDB）。 起源：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2...
大数据技术Canal学习资料.txt
12-30
以Canal的底层原理展开讲解，细致地介绍了Canal的安装部署及常见应用，详细讲解了如何实现MySQL数据的采集，并将数据分别发送至Kafka，.............
整合canal监听mysql
最新发布
05-13
在 `canal-demo` 项目中，你可以找到相关的示例代码和配置，通过学习和实践，可以更好地理解和掌握 `Spring Boot` 整合 `Canal` 监听 MySQL 的技术细节。 总结起来，`Spring Boot` 整合 `Canal` 监听 MySQL 数据...
mycanal.rar_canal项目_girlrmj_java_java canal_mycanal
09-24
【标题】"mycanal.rar_canal项目_girlrmj_java_java canal_mycanal" 提供的信息主要涉及一个名为“mycanal”的项目，该...此外，也可以通过查阅Canal的官方文档和girlrmj的项目文档来获取更多的技术细节和使用指导。
基于canal的Mysql数据同步实验手册.pdf
12-23
通过本次实验，你将学习并掌握如何利用Canal实现MySQL主从库的数据同步，理解数据同步的流程和配置方法，这对于构建高可用、高性能的数据库架构至关重要。 **实训环境** 实验环境包括Linux操作系统，以及Canal和...
canal 入门分享
03-27
对一次学习阿里巴巴mysql数据库binlog的增量订阅&消费组件 的朋友了解入门这个技术
Canal技术实践V1.0
super_chenzhou
07-30 549
Canal技术实践
Canal学习笔记
qq_40850266的博客
01-12 493
Cancle 1.目的 阿里解决异地机房数据同步（基于cannal的Otter）问题。直接读取数据库进行同步会造成数据库服务器压力过大，所以通过读取binlog增量日志（增删改）来进行增量数据的获取，由此衍生了数据订阅和消费的业务。 2.原理及作用 基于数据库日志解析完成数据库增量数据同步。 3.MySql的binglog 3.1作用 以事件的形式记录了DDL和DML操作，且是事务安全型的。开启binglog会有大概1%的性能损耗。 3.2应用 数据实时收仓，数据恢复，缓存刷新，es同步，Otter组件（原
Canal介绍
NWU_LK的博客
10-11 582
Canal介绍 简介 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 Canal环境搭建 canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能 开启mysql服务： service mysql start 登录mysql客户端，检查binlog功能是否有开启：show variables like 'log_bin' 如果on则
Canal学习笔记&mysql安装
wei2060i
06-24 269
canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。 阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。 工作原理 ...
canal入门
南国樱花祭
01-02 868
前言 以前对canal仅仅是停留在书本的概念层面上，从没实际搭建操作过，这不趁着元旦假期，学习输出一波。在此也祝福大家新年快乐，希望2022年大家工作顺利，事业更进一步。 在日常工作中，数据不仅仅是直接保存在数据库中，还会涉及到其他中间组件，比如需要将数据同步到ES中供检索使用，也会把最新数据同步刷新到Redis等缓存中，实现数据一致性。这时就可以用到阿里开源的框架Canal，他可以很方便地同步数据库的增量数据到其他的存储应用。 1、什么是canal 我们先来看下官网的介绍： ...
超详细的Canal入门，看这篇就够了！
种瓜得瓜，种豆得豆
04-23 394
超详细的Canal入门，看这篇就够了！ 转自链接：https://blog.csdn.net/yehongzhi1994/article/details/107880162 思维导图 文章已收录Github精选，欢迎Star：https://github.com/yehongzhi/learningSummary 前言 我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis等等。 这时
canal
fengleijianshen的博客
07-04 614
当canal.destinations = example1,example2 配置多个时同时需要创建多个canal client客户端canal server 设置canal.instance.filter.regex，一定不要在客户端调用CanalConnector.subscribe(".*\\..*")，不然等于没设置canal.instance.filter.regexcanal.ins...
一文学会Canal数据同步技术
南客先生的博客
08-23 565
Canal介绍 Canal是阿里旗下的一个开源的数据同步工具，使其可以在微服务项目中降低程序的耦合度，达到提升效率的工具。下面看下它的介绍： *应用场景 在微服务项目大部分功能中，我们采取了服务调用获取相应需要的数据，这样耦合度高，效率相对较低，目前我采取另一种实现方式，通过实时同步数据库表的方式实现，例如我们要统计每天注册与登录人数，我们只需把会员表同步到统计库中，实现本地统计就可以了，这样效率更高，耦合度更低，Canal就是一个很好的数据库同步工具。canal是阿里巴巴旗下的一款开源项目，纯Java
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

暮起

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值