canal mysql从库_使用canal进行mysql数据同步到Redis

最新推荐文章于 2024-08-23 08:15:40 发布
最新推荐文章于 2024-08-23 08:15:40 发布
阅读量185 收藏
点赞数
文章标签： canal mysql从库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29863361/article/details/113018775
版权
本文介绍了如何使用Canal工具实现MySQL数据库到Redis的增量数据同步，包括MySQL配置开启binlog，Canal的配置与部署，以及Java连接Canal执行同步操作的示例代码。通过Canal，可以方便地实现数据库读写分离，将MySQL的变更实时同步到Redis作为缓存。
摘要由CSDN通过智能技术生成

1. 可行方案

回归正题：我们的标题为《使用canal进行MySQL数据同步到Redis》，那就先来说说我们的目的：mysql数据同步到Redis，想达到读写分离，Redis只做缓存，MySQL做持久化。刚开始想这样干的时候就去网上收集资料，发现了N多做法：先从Redis读取数据，如果没有查询到；便从mysql查询数据，将查询到的内容放到Redis中。对于写操作，先对mysql进行写，写成功对Redis进行写。当然这是一种相对直观而且简单的方法，但是看起来有许多操作需要我们自己去做。

使用mysql的udf去做，大体的思想是通过数据库中的Trigger调用自定义的函数库来触发对Redis的相应操作，比较麻烦的一点是：自定义的函数库需要我们基于mysql的API进行开发(C++),想想自己的Java程序要去调用这么一堆玩意，本人很不情愿。据了解，该方法也是阿里早起的解决方案，具体的步骤可参照：《【菜鸟玩Linux开发】通过MySQL自动同步刷新Redis》

通过Gearman去同步，但是通过了解发现，它一般使用在PHP的开发中。

接下来的两种方案都属于对mysql中的binlog进行解析的方法了。

使用canal进行同步，当然是能够解放双手的工具。

通过大量的资料收集和调查，我使用了canal进行了mysql数据同步到Redis。先简单谈谈canal：

canal主要是基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，核心基本就是模拟mysql中slave节点请求。具体的原理在这里不进行介绍，可以移步《阿里巴巴开源项目: canal 基于mysql数据库binlog的增量订阅&消费》 进行学习。

2. mysql的配置开启mysql的binlog模块

切换到mysql的安装路径，找到my.cnf(Linux)/my.ini (windows)，加入如下内容：[mysqld]log-bin=mysql-bin #添加这一行就ok

binlog-format=ROW #选择row模式

server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

配置完成后，需要重启数据库。当重启数据库遇到问题时，耐心解决，但需要警告的是，千万别动data文件夹下的文件。当然如果你觉得你比较有“资本”，同时遇到了“mysql 1067 无法启动”的错误，你可以试着备份一下data文件夹下的内容，删除logfile文件，重启数据库即可，但本人极不推荐这样进行操作。就是由于本人之前的无知，根据一个无良博客，误删了ibdata1文件，使得本人造成了很大的损失，mysql下的所有数据库瞬间毁灭。配置mysql数据库

创建canal用户，用来管理canal的访问权限。我们可以通过对canal用户访问权限的控制，进而控制canal能够获取的内容。CREATE USER canal IDENTIFIED BY 'canal';

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON 数据库名.表名 TO 'canal'@'%';  -- GRANT ALL PRIVILEGES ON 数据库名.表名 TO 'canal'@'%' ;  FLUSH PRIVILEGES;

3. canal配置与部署下载部署包

下载，解压，我使用的是最新版本1.0.22https://github.com/alibaba/canal/releases/配置canal

主要配置的文件有两处，canal/conf/example/instance.properties 和 canal/conf/canal.properties . 而canal.properties 文件我们一般保持默认配置，所以我们仅对instance.properties 进行修改。如果需要对canal进行复杂的配置，可以参考《Canal AdminGuide》。## mysql serverId

canal.instance.mysql.slaveId = 1234

# position info

canal.instance.master.address = ***.***.***.***:3306 #改成自己的数据库地址

canal.instance.master.journal.name =

canal.instance.master.position =

canal.instance.master.timestamp =

#canal.instance.standby.address =

#canal.instance.standby.journal.name =

#canal.instance.standby.position =

#canal.instance.standby.timestamp =

# username/password

canal.instance.dbUsername = canal #改成自己的数据库信息

canal.instance.dbPassword = canal #改成自己的数据库信息

canal.instance.defaultDatabaseName =  #改成自己的数据库信息

canal.instance.connectionCharset = UTF-8 #改成自己的数据库信息

# table regex

canal.instance.filter.regex = .*\\..*

# table black regex

canal.instance.filter.black.regex =启动canal./canal/startup.sh查看启动状态

我们可以通过查看logs/canal/canal.log 和logs/example/example.log日志来判断canal是否启动成功。

canal/logs/canal/canal.log2016-12-29 14:03:00.956 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.

2016-12-29 14:03:01.071 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.168.1.99:11111]

2016-12-29 14:03:01.628 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ....

canal/logs/example/example.log2016-12-29 14:03:01.357 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]

2016-12-29 14:03:01.362 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]

2016-12-29 14:03:01.535 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example

2016-12-29 14:03:01.555 [main] INFO  c.a.otter.canal.instance.core.AbstractCanalInstance - start successful....

4. Java连接canal执行同步操作

在maven项目中中加载canal和redis依赖包.dependency>

redis.clients

jedis

2.4.2

com.alibaba.otter

canal.client

1.0.22

建立canal客户端，从canal中获取数据，并将数据更新至Redis.import java.net.InetSocketAddress;

import java.util.List;

import com.alibaba.fastjson.JSONObject;

import com.alibaba.otter.canal.client.CanalConnector;

import com.alibaba.otter.canal.common.utils.AddressUtils;

import com.alibaba.otter.canal.protocol.Message;

import com.alibaba.otter.canal.protocol.CanalEntry.Column;

import com.alibaba.otter.canal.protocol.CanalEntry.Entry;

import com.alibaba.otter.canal.protocol.CanalEntry.EntryType;

import com.alibaba.otter.canal.protocol.CanalEntry.EventType;

import com.alibaba.otter.canal.protocol.CanalEntry.RowChange;

import com.alibaba.otter.canal.protocol.CanalEntry.RowData;

import com.alibaba.otter.canal.client.*;

public class CanalClient{

public static void main(String args[]) {

CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress(AddressUtils.getHostIp(),

11111), "example", "", "");

int batchSize = 1000;

try {

connector.connect();

connector.subscribe(".*\\..*");

connector.rollback();

while (true) {

Message message = connector.getWithoutAck(batchSize); // 获取指定数量的数据

long batchId = message.getId();

int size = message.getEntries().size();

if (batchId == -1 || size == 0) {

try {

Thread.sleep(1000);

} catch (InterruptedException e) {

e.printStackTrace();

}

} else {

printEntry(message.getEntries());

}

connector.ack(batchId); // 提交确认

// connector.rollback(batchId); // 处理失败, 回滚数据

}

} finally {

connector.disconnect();

}

}

private static void printEntry( List entrys) {

for (Entry entry : entrys) {

if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {

continue;

}

RowChange rowChage = null;

try {

rowChage = RowChange.parseFrom(entry.getStoreValue());

} catch (Exception e) {

throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(),

e);

}

EventType eventType = rowChage.getEventType();

System.out.println(String.format("================> binlog[%s:%s] , name[%s,%s] , eventType : %s",

entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),

entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),

eventType));

for (RowData rowData : rowChage.getRowDatasList()) {

if (eventType == EventType.DELETE) {

redisDelete(rowData.getBeforeColumnsList());

} else if (eventType == EventType.INSERT) {

redisInsert(rowData.getAfterColumnsList());

} else {

System.out.println("-------> before");

printColumn(rowData.getBeforeColumnsList());

System.out.println("-------> after");

redisUpdate(rowData.getAfterColumnsList());

}

}

}

}

private static void printColumn( List columns) {

for (Column column : columns) {

System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());

}

}

private static void redisInsert( List columns){

JSONObject json=new JSONObject();

for (Column column : columns) {

json.put(column.getName(), column.getValue());

}

if(columns.size()>0){

RedisUtil.stringSet("user:"+ columns.get(0).getValue(),json.toJSONString());

}

}

private static  void redisUpdate( List columns){

JSONObject json=new JSONObject();

for (Column column : columns) {

json.put(column.getName(), column.getValue());

}

if(columns.size()>0){

RedisUtil.stringSet("user:"+ columns.get(0).getValue(),json.toJSONString());

}

}

private static  void redisDelete( List columns){

JSONObject json=new JSONObject();

for (Column column : columns) {

json.put(column.getName(), column.getValue());

}

if(columns.size()>0){

RedisUtil.delKey("user:"+ columns.get(0).getValue());

}

}

}

RedisUtil 工具类

import redis.clients.jedis.Jedis;

import redis.clients.jedis.JedisPool;

import redis.clients.jedis.JedisPoolConfig;

public class RedisUtil {

// Redis服务器IP

private static String ADDR = "0.0.0.0";

// Redis的端口号

private static int PORT = 6379;

// 访问密码

//private static String AUTH = "admin";

// 可用连接实例的最大数目，默认值为8；

// 如果赋值为-1，则表示不限制；如果pool已经分配了maxActive个jedis实例，则此时pool的状态为exhausted(耗尽)。

private static int MAX_ACTIVE = 1024;

// 控制一个pool最多有多少个状态为idle(空闲的)的jedis实例，默认值也是8。

private static int MAX_IDLE = 200;

// 等待可用连接的最大时间，单位毫秒，默认值为-1，表示永不超时。如果超过等待时间，则直接抛出JedisConnectionException；

private static int MAX_WAIT = 10000;

// 过期时间

protected static int  expireTime = 60 * 60 *24;

// 连接池

protected static JedisPool pool;

/**

* 静态代码，只在初次调用一次

*/

static {

JedisPoolConfig config = new JedisPoolConfig();

//最大连接数

config.setMaxTotal(MAX_ACTIVE);

//最多空闲实例

config.setMaxIdle(MAX_IDLE);

//超时时间

config.setMaxWaitMillis(MAX_WAIT);

//

config.setTestOnBorrow(false);

pool = new JedisPool(config, ADDR, PORT, 1000);

}

/**

* 获取jedis实例

*/

protected static synchronized Jedis getJedis() {

Jedis jedis = null;

try {

jedis = pool.getResource();

} catch (Exception e) {

e.printStackTrace();

if (jedis != null) {

pool.returnBrokenResource(jedis);

}

}

return jedis;

}

/**

* 释放jedis资源

* @param jedis

* @param isBroken

*/

protected static void closeResource(Jedis jedis, boolean isBroken) {

try {

if (isBroken) {

pool.returnBrokenResource(jedis);

} else {

pool.returnResource(jedis);

}

} catch (Exception e) {

}

}

/**

* 是否存在key

* @param key

*/

public static boolean existKey(String key) {

Jedis jedis = null;

boolean isBroken = false;

try {

jedis = getJedis();

jedis.select(0);

return jedis.exists(key);

} catch (Exception e) {

isBroken = true;

} finally {

closeResource(jedis, isBroken);

}

return false;

}

/**

* 删除key

* @param key

*/

public static void delKey(String key) {

Jedis jedis = null;

boolean isBroken = false;

try {

jedis = getJedis();

jedis.select(0);

jedis.del(key);

} catch (Exception e) {

isBroken = true;

} finally {

closeResource(jedis, isBroken);

}

}

/**

* 取得key的值

* @param key

*/

public static String stringGet(String key) {

Jedis jedis = null;

boolean isBroken = false;

String lastVal = null;

try {

jedis = getJedis();

jedis.select(0);

lastVal = jedis.get(key);

jedis.expire(key, expireTime);

} catch (Exception e) {

isBroken = true;

} finally {

closeResource(jedis, isBroken);

}

return lastVal;

}

/**

* 添加string数据

* @param key

* @param value

*/

public static String stringSet(String key, String value) {

Jedis jedis = null;

boolean isBroken = false;

String lastVal = null;

try {

jedis = getJedis();

jedis.select(0);

lastVal = jedis.set(key, value);

jedis.expire(key, expireTime);

} catch (Exception e) {

e.printStackTrace();

isBroken = true;

} finally {

closeResource(jedis, isBroken);

}

return lastVal;

}

/**

*  添加hash数据

* @param key

* @param field

* @param value

*/

public static void hashSet(String key, String field, String value) {

boolean isBroken = false;

Jedis jedis = null;

try {

jedis = getJedis();

if (jedis != null) {

jedis.select(0);

jedis.hset(key, field, value);

jedis.expire(key, expireTime);

}

} catch (Exception e) {

isBroken = true;

} finally {

closeResource(jedis, isBroken);

}

}

}

至此，我们利用canal进行了mysql数据同步到Redis的任务，可以根据不同的需求将代码进行修改置于需要的位置。

参考：

z转载：http://blog.csdn.net/tb3039450/article/details/53928351

聊书法的王透之
关注
mysql通过binlog同步数据到redis的方法.docx
01-10
mysql通过binlog同步数据到redis的方法.docx
使用canal进行mysql数据同步到Redis
weixin_33981932的博客
03-26 443
1. 可行方案回归正题：我们的标题为《使用canal进行MySQL数据同步到Redis》，那就先来说说我们的目的：mysql数据同步到Redis，想达到读写分离，Redis只做缓存，MySQL做持久化。刚开始想这样干的时候就去网上收集资料，发现了N多做法：先从Redis读取数据，如果没有查询到；便从mysql查询数据，将查询到的内容放到Redis中。对于写操作，先对mysql...
canal-go：数据变更的高效利器
最新发布
gitblog_00462的博客
08-23 269
canal-go：数据变更的高效利器 canal-go Alibaba mysql database binlog incremental subscription & consumer components Canal's golang client[阿里巴巴mysql数据库binlog的增量订阅&消费组件 Canal 的 go 客户端 ] https://github.com/aliba...
redis 中的缓存击穿，缓存穿透，缓存雪崩，缓存更新，缓存预热的解决方案
qq_67394089的博客
04-18 149
缓存穿透就是 redis没有缓存 到数据库的数据 突然有个恶意的人 一直查缓存 缓存都没有 就失效了 然后全部都 打到数据库中 数据库中的数据也是空 最后返回为空的数据 这时数据库的压力大大的飙。缓存击穿就是当大量的请求到缓存中，然后突然redis的key过期了、缓存失效了 这时大量的请求打进了数据库直到把数据库干爆。意思就是 redis 的数据要和数据库中的数据保持一致，这样查询到的就是一样的。缓存穿透跟缓存击穿的不同点就是 缓存击穿是 缓存的数据是空 失效了 但数据库中有热点的数据。
通过maxwell读取binlog日志，把mysql变化数据传入redis
北海知己
03-22 1051
Maxwell简介 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。Maxwell给出了一...
Redis学习笔记：Redis与MySQL数据双写一致性 Java Canal配置Redis，MySQL步骤
RuaaaHaHa的博客
10-19 208
文件位置在mysql的安装目录下，博主的目录如下：D:\Environments\Mysql\mysql-8.0.34-winx64。第二个红框中个的ip地址即mysql所在的ip，博主的mysql是在windows上的。首先以管理员的身份打开命令行工具，WIN+R后，Ctrl+Shift+Enter即可。
canal 的 mysql 与 redis/memcached/mongodb 的 nosql 数据实时同步方案
11-03
标题中的“canal”的MySQL与“redis/memcached/mongodb”的NoSQL数据实时同步方案，主要涉及了数据库间的数据迁移和实时同步技术。这个话题涵盖了多个关键知识点，包括： 1. **Canal**: Canal是阿里巴巴开源的一个...
canal_mysql_nosql_sync：基于canal的mysql与redismemcachedmongodb的nosql数据实时同步方案案例demo canal client
02-03
基于Canal的MySql RabbitMQ Redis / memcached / mongodb的nosql同步（多读，nosql延迟不严格需求） 1.mysql主从配置 2.对mysql binlog(row) parser 这一步交给canal 3.MQ对解析后binlog增量数据的推送 4.对MQ数据...
基于 Canal 的 MySql RabbitMQ Redis/memcached/mongodb
08-16
5.数据写入/修改到nosql （redis的主从/hash分片） 6.保证对应关系的简单性：一个mysql表对应一个 redis实例（redis单线程，多实例保证分流不阻塞），关联关系数据交给接口业务 数据：mysql->binlog->MQ->redis(不...
大型企业如何实现MySQL到Redis的同步.docx
12-16
在实现MySQL到Redis的同步时，我们可以使用Canal来订阅MySQL的Binlog，并将其异步更新到Redis中。Canal是一个基于Java的开源工具，能够实时地捕捉MySQL的Binlog，并将其传输到 Redis中。 在使用Canal时，我们需要...
canal + mysql + rabbitmq步骤（CanalListener）
08-12
MySQL数据库的实时监控和数据变更同步是许多企业级应用中的重要需求，这通常涉及到数据库的日志分析和事件处理。Canal是一款由阿里巴巴开源的、基于MySQL binlog的增量日志订阅与消费组件，它能够监听MySQL数据库的...
基于binlog+Canal+Redis保姆级教程，帮助您实现数据一致性落地的全过程！
竹林幽深
08-09 2930
canal 是阿里巴巴的一个开源项目，基于java实现，整体已经在很多大型的互联网项目生产环境中使用，包括阿里、美团等都有广泛的应用， 是一个非常成熟的数据库同步方案，基础的使用只需要进行简单的配置即可。canal是通过模拟成为mysql 的slave的方式， 监听mysql 的binlog日志来获取数据，binlog设置为row模式以后，不仅能获取到执行的每一个增删改的脚本，同时还能获取到修改前和修改后的数据，基于这个特性，canal就能高性能的获取到mysql数据数据的变更。
Canal实现Mysql数据同步至Redis、Elasticsearch
Zyw907155124的博客
09-20 1498
1.Canal简介;1.1 MySQL主备复制原理;1.2 canal工作原理;2.开启MySQL Binlog;3.安装Canal;4.SpringCloud集成Canal;4.3 canal配置多个数据同步的目的地;4.5 监听配置;4.8 canal整合异常问题排查思路;4.8.2 使用canal监听数据 启动成功了 没有报错 不过一直监听不到消息
使用canal解决Mysql和Redis数据同步(TCP)
墨家巨子@俏如来
08-20 5943
之前写过一篇文章《[使用canal解决Mysql和Redis数据同步问题](https://blog.csdn.net/u014494148/article/details/123336787)》，也是使用canal实现mysql和redis的数据同步，和该篇文章不一样的是，上一篇是基于MQ实现数据同步，该篇文章是基于TCP方式来实现。
Canal + RocketMQ 同步 MySQL 数据到 Redis 实战
qq_42889280的博客
04-06 7418
原文地址：https://blog.xaoxu.cn/archives/canal-rocketmq-sync-mysql-data-to-redis 前言 缓存和数据库一致性问题 读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新，就容易出现缓存（Redis）和数据库（MySQL）间的数据一致性问题。因为写和读是并发的，没法保证顺序，就会出现缓存和数据库的数据不一致的问题。 无论是 先删除Redis缓存，再写MySQL数据库，还是 先写MySQL数据库，再删除Redis缓存，都有可能出现数据不一致的情况
canal应用二：mysql数据实时同步到redis
qq_28834355的博客
06-18 1270
前言 在项目开发中，通常使用redis作为数据的缓存，那么经常遇到一个问题，修改MySQL的数据要怎么同步到Redis呢？ 方式一：在系统的保存、删除接口同时对redis进行操作，但是存在一个缺点，就是如果直接修改数据库的情况下无法同步数据； 方式二：使用canal拉取mysql binlog，获取mysql变化的数据日志，然后同步操作redis。 这里我们采用方式二，基本设计思路如下图所示 准备工作 安装canal-server、canal-admin：canal安装和基本使用 安装mysql、r
使用canal同步mysql数据库到redis +实践策略模式
Mr__simon的博客
03-17 2946
背景 为提高系统性能、减小数据库压力，需要对频繁查询的数据进行缓存处理。为保证mysql和redis数据一致，网上博客一大堆缓存同步策略，最核心的问题其实还是数据修改时的数据一致性：先更新（删除）缓存再更新数据库、先更新数据库再更新(删除)缓存、延时双删等。 以上所说的这些策略主要是考虑并发场景下db-redis之间的数据最终一致，如果业务场景没有多大的并发，或缓存的数据大多是配置之类不影响业务主流程的数据，其实以上策略基本也不会有问题。如果想做到数据强一致，那就只有一种方式就是串行，但是串行必然导致性..
Java开发 - Canal进阶之和Redis的数据同步
CodingFire的博客
07-04 4161
本篇是对单节点的应用，但从中我们也能推断出一些关于集群的应用，不过大多数公司能搞个主从就已经是不错了，所以你能学会这个已经算是很有用了，关于ES，博主前面也讲过一些基础应用，创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步，如果担心出问题，可以把Canal搞成集群的形式，这个后续有时间博主再给大家做讲解。今天就到这里了，觉得不错就支持一下吧。
基于canal 解决Redis与数据库数据不一致问题
weixin_39555954的博客
11-25 3643
一、业务场景 在实际生产过程中，由于网络原因或者Redis故障等等原因会导致Redis与数据库数据不一致的问题，这个时候我们怎么办？或许我们可以写一个定时Job然后定时去跑数据，或者找到那条数据不一致，然后删除Redis中的缓存，但是这些都有缺点，定时任务跑数据，延时性太大了。如果是删除缓存，数据量少还可以，数据量多了呢，写脚本？那脚本执行时候一定会影响Redis性能。Canal这个开源框架可以很友好的解决我们上面这些问题。 二、Canal介绍 Canal是阿里巴巴的开源项目，其原理是...
Canal实现MySQL到Redis的数据同步教程
本文主要介绍了如何使用Canal进行数据同步，特别是从MySQL到Redis的数据迁移。Canal模拟了MySQL从库的角色，通过接收并解析MySQL的binlog来实现数据的实时同步。 一、Canal简介 Canal是阿里巴巴开源的一个数据库...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值