springboot 集成canal实现redis缓存mysql学习笔记

springboot 集成canal实现redis缓存mysql（单表）

最近在学习如何使用canal来同步mysql数据库，因此记录一下学习使用的流程

1.原理

canal将自己伪装成mysql的slave读取mysql的Binary log实现对mysql数据变动的同步。

在mysql主库日志发生变化后，直接通过canal对redis操作同步mysql的数据，与业务sql数据解耦。

2.配置

mysql配置

版本8.0.16

my.ini设置

[mysqld]
# 设置3306端口
port=3306
# 设置mysql的安装目录
basedir=D:\Environment\mysql-8.0.16-winx64
# 设置mysql数据库的数据的存放目录
datadir=D:\Environment\mysql-8.0.16-winx64\data
# 允许最大连接数
max_connections=200
# 允许连接失败的次数。
max_connect_errors=10
# 服务端使用的字符集默认为UTF8
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
# 默认使用“mysql_native_password”插件认证
#mysql_native_password
default_authentication_plugin=mysql_native_password
[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
[client]
# 设置mysql客户端连接服务端时默认使用的端口
port=3306
default-character-set=utf8
# 开启mysql的binlog模块
log-bin=mysql-bin
binlog-format=ROW
# server_id需保证唯一，不能和canal的slaveId重复
server_id=1
# 需要同步的数据库名称
binlog-do-db=redis_test
# 忽略的数据库，建议填写
binlog-ignore-db=mysql
# 启动mysql时不启动grant-tables授权表
skip-grant-tables

用户授权

CREATE USER canal IDENTIFIED BY 'canal';
grant ALL PRIVILEGES on *.* to 'canal'@'%';
FLUSH PRIVILEGES;

redis配置

版本6.0

#bind 127.0.0.1
protected-mode no
port 6379

canal服务器配置

版本1.1.5

/conf/example/instance.properties

#################################################
## mysql serverId , v1.0.26+ will autoGen 
#不要和mysql主库的server_id相同
canal.instance.mysql.slaveId=2

# enable gtid use true/false
canal.instance.gtidon=false

# position info
#使用了本地的mysql服务器
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=false
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance.tsdb.dbUsername=canal
#canal.instance.tsdb.dbPassword=canal

#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#canal.instance.standby.gtid=

# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false
#canal.instance.pwdPublicKey=MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALK4BUxdDltRRE5/zXpVEVPUgunvscYFtEip3pmLlhrWpacX7y7GCMo2/JM6LeHmiiNdH1FWgGCpUfircSwlWKUCAwEAAQ==

# table regex
canal.instance.filter.regex=.*\\..*
# table black regex
canal.instance.filter.black.regex=mysql\\.slave_.*
# table field filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.field=test1.t_product:id/subject/keywords,test2.t_company:id/name/contact/ch
# table field black filter(format: schema1.tableName1:field1/field2,schema2.tableName2:field1/field2)
#canal.instance.filter.black.field=test1.t_product:subject/product_image,test2.t_company:id/name/contact/ch

# mq config
canal.mq.topic=example
# dynamic topic route by schema or table regex
#canal.mq.dynamicTopic=mytest1.user,mytest2\\..*,.*\\..*
canal.mq.partition=0
# hash partition config
#canal.mq.partitionsNum=3
#canal.mq.partitionHash=test.table:id^name,.*\\..*
#canal.mq.dynamicTopicPartitionNum=test.*:4,mycanal:6
#################################################

canal启动

启动位置

/bin/startup.sh

关闭位置

/bin/stop.sh

3.java程序

核心canal程序

canal启动后

canal监视mysql日志文件

获得sql语句具体内容并拆解得到rowChage

EventType eventType = rowChage.getEventType();
//数据库名 entry.getHeader().getSchemaName()
//表名 entry.getHeader().getTableName()
//操作名 eventType
//删除操作的数据存放在 rowData.getBeforeColumnsList() 这个列表中
//插入操作的数据存放在 rowData.getAfterColumnsList() 这个列表中
//更新操作则先删除后插入
//每个操作以键值对存储在列表中
//如果有3个字段：id，name，password
//第一个key是id，第二个key是name，第三个key是password

//此列表存储了具体的数据
List<RowData> rowData = rowChage.getRowDatasList();
//通过每次sql操作的eventType判断增删改的类型对rowData中的数据进行个性化处理
//这里使用自定义的redistemplate模板操作数据来讲数据库更改更新至缓存中
//也可以将此处操作替换为自己的，如连接至MQ处理
for (RowData rowData : rowChage.getRowDatasList()) {
                if (eventType == EventType.DELETE) {
                    redisDelete(rowData.getBeforeColumnsList());
                } else if (eventType == EventType.INSERT) {
                    redisInsert(rowData.getAfterColumnsList());
                } else {
                    redisUpdate(rowData.getAfterColumnsList());
                }
            }

自定义redis操作

delete

获得主键字段，删除key为对应id的缓存

private  void redisDelete(List<Column> columns){
    for(Column column:columns){
        if (column.getName().equals("id")){
            redisTemplate.delete("Id::"+column.getValue());
            System.out.println("执行了redisDelete,id="+column.getValue());
        }
    }
}

insert

获得主键字段，set key为主键，value为对象缓存

private  void redisInsert(List<Column> columns){
    User user = new User();
    int insertId=0;
    for (Column column : columns) {
        switch (column.getName()){
            case "id":
                try {
                    insertId=Integer.valueOf(column.getValue()).intValue();
                    user.setId(insertId);
                } catch (NumberFormatException e) {
                    e.printStackTrace();
                }
                break;
            case "name":
                user.setName(column.getValue());
                break;
            case "password":
                user.setPassword(column.getValue());
                break;
            default:
                System.out.println("redisInsert，switch结束");
        }
    }
    redisTemplate.opsForValue().set("Id::"+insertId,user);
    System.out.println("执行了redisInsert，id="+insertId);

}

update

获得主键字段，删除key对应的缓存，set key为主键，value为对象缓存/

覆盖该key的value

private  void redisUpdate(List<Column> columns){
    User user = new User();
    int updateId=0;
    for (Column column : columns) {
        switch (column.getName()){
            case "id":
                try {
                    updateId=Integer.valueOf(column.getValue()).intValue();
                    user.setId(updateId);
                } catch (NumberFormatException e) {
                    e.printStackTrace();
                }
                break;
            case "name":
                user.setName(column.getValue());
                break;
            case "password":
                user.setPassword(column.getValue());
                break;
            default:
                System.out.println("redisUpdatet，switch结束");
        }
    }
    redisTemplate.opsForValue().set("Id::"+updateId,user);
    System.out.println("执行了redisUpdate，id="+updateId);
}

demo整体架构

mysql

user表，自增主键id(int),name(varchar)，password(varchar)

pojo

lombok注解的int id,String name,String password

dao

增删查改

service

增删查改

controller

增删查改

config

RedisConfig

自定义的RedisTemplate<String, Object>

使用jackson和StringRedisSerializer序列化Object和String

SpringCacheRedisConfig

解决cache缓存到redis后的乱码问题

启动类

注入simpleCanalClientExample

bok注解的int id,String name,String password

dao

增删查改

service

增删查改

controller

增删查改

config

RedisConfig

自定义的RedisTemplate<String, Object>

使用jackson和StringRedisSerializer序列化Object和String

SpringCacheRedisConfig

解决cache缓存到redis后的乱码问题

启动类

注入simpleCanalClientExample

作为监视器线程启动