使用cancl工具同步数据库和redis（基于TCP）

使用cancl工具同步数据库和redis（基于TCP）

前言

redis中的数据一般是作为缓存，当redis和数据库的数据不一致时，有很多种解决办法，这里使用cancl做数据同步，一般常见的有两只方式，基于MQ和TCP，这里使用TCP
原理：
1.canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
2.MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
3.canal 解析 binary log 对象(原始为 byte 流)

版本
mysql:8.0.27 (不知道的可以用 select version() 命令查看)
canal: 1.1.6
redis:3.0
全程window环境

第一步：设置数据库

因为使用cancl工具的原理是根据mysql的主从机制，将cancl工具模仿为slave数据库，从中获取binlog日志，所以
1.需要先判断binlog日志有没有开启，可以使用命令（show variables like ‘log_bin’）查看，因为mysql8.0.27是默认开的，所以不需要再手动打开

2.查看binlog的格式是否为RO格式，可以使用命令（show variables like ‘binlog_format’）查看，因为mysql8.0.27是默认是ROW，所以不需要再手动更改

3.将mysql的my.ini添加如下配置即可

server-id=1

4.建立需要同步的库和表，这里我建立名为test_canaldb的库，表为user表

5.建立需要同步的账户，账户名和密码推荐都使用canal，因为canal的默认账户和密码就是这个，之后不需要更改canal的这块配置，需要注意的时，创建完账户后确认是否有获取binlog日志的权限,这里我就设置全部权限

第二步：设置canal

1.下载canal，下载地址为，

https://github.com/alibaba/canal/releases/tag/canal-1.1.6

这里我选择canal.deployer-1.1.6.tar.gz
2.解压canal后如下图

1.先修改conf/example目录下的instance.properties文件，主要修改四个地方

# 需要同步的redis地址，如果本地就无需修改
canal.instance.master.address=127.0.0.1:3306
# 需要同步的数据库账户，如果是新建的canal就无需修改，如果没有新建账户，可以用root测试
canal.instance.dbUsername=canal
# 需要同步的数据库账户密码，如果按上文的要求建立账户和密码，就无需修改
canal.instance.dbPassword=canal
# 需要同步的数据库的表，格式为库名.表名，如果有多个就用逗号隔开
canal.instance.filter.regex=test_canaldb.user

2.修改conf目录下的canal.properties文件，主要改一个地方

canal.serverMode = tcp

如果是1.1.6的话，可以跳过，因为默认方式就是TCP
3.改完以后就可以使用bin目录下的startup.bat启动，如果出现下面的界面，说明启动成功，如果没有，则检查一小电脑安全方面是否关掉

第三步.同步代码，这里贴出一个demo的代码

1.依赖

	<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.5.RELEASE</version>
    </parent>
    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
        <!--Canal 依赖-->
        <dependency>
            <groupId>top.javatool</groupId>
            <artifactId>canal-spring-boot-starter</artifactId>
            <version>1.2.1-RELEASE</version>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.50</version>
        </dependency>
    </dependencies>

2.创建启动类

@SpringBootApplication
public class TestCanalApplication {

    public static void main(String[] args) {
        SpringApplication.run(TestCanalApplication.class);
    }

}

3.编写表对应的实体类

@Data
public class User {

    private Integer id;

    private String username;

}

4.编写redis的配置和系列化

@Configuration
public class RedisConfig {

    @Resource
    private RedisConnectionFactory factory;


    //使用JSON进行序列化
    @Bean
    public RedisTemplate<Object, Object> redisTemplate() {
        RedisTemplate<Object, Object> redisTemplate = new RedisTemplate<>();

        redisTemplate.setConnectionFactory(factory);
        //JSON格式序列化
        GenericFastJsonRedisSerializer serializer = new GenericFastJsonRedisSerializer();
        //key的序列化
        redisTemplate.setKeySerializer(serializer);
        //value的序列化
        redisTemplate.setValueSerializer(serializer);
        //hash结构key的虚拟化
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        //hash结构value的虚拟化
        redisTemplate.setHashValueSerializer(serializer);
        return redisTemplate;
    }

}

5.编写同步处理器，继承EntryHandler，@CanalTable(“user”)里面的是需要同步的表名

@Component
@CanalTable("user")
@Slf4j
public class UserHandler implements EntryHandler<User> {

    //把数据往Redis同步
    @Autowired
    private RedisTemplate<Object,Object> redisTemplate;

    @Override
    public void insert(User user) {
        log.info("更新的数据为，{}", JSONObject.toJSONString(user));
        redisTemplate.opsForValue().set("USER:"+user.getId(),user);
    }

    @Override
    public void delete(User user) {
        log.info("删除的数据为，{}", JSONObject.toJSONString(user));
        redisTemplate.delete("USER:"+user.getId());
    }

    @Override
    public void update(User before, User after) {
        log.info("更改的数据为，{}，{}", JSONObject.toJSONString(before), JSONObject.toJSONString(after));
        redisTemplate.opsForValue().set("USER:"+after.getId(),after);
    }

}

6.配置文件

canal:
  server: 127.0.0.1:11111
  destination: example
spring:
  redis:
    host: 127.0.0.1
    database: 0

第四步，测试

确保启动mysql,canal,redis，测试demo后，向需要同步的库增加，修改，删除数据后，会打印Log日志，同时redis也会同步变化，这里以测试测试新增为例
数据库：

代码日志：

redis数据：