基于数据库Binlog记录操作日志-实践篇

最新推荐文章于 2023-03-06 15:19:34 发布

snail-jie

最新推荐文章于 2023-03-06 15:19:34 发布

阅读量952

点赞数 1

分类专栏： canal 文章标签： big data spring 数据库

本文链接：https://blog.csdn.net/weixin_40803011/article/details/120824767

版权

canal 专栏收录该内容

7 篇文章 3 订阅

订阅专栏

前言

本篇要实现的功能
1.1 cannal监听指定的表
1.2 切面写入操作信息，通过traceId进行关联
1.3 MQ消费消息，将diff日志记录到指定的traceId记录中

Cannal的过滤(只监听指定的表)

简单介绍Cannal启动流程

在这里插入图片描述

如果启动模式为spring(mode或者globalConfig.mode),则读取设置配置文件，调用SpringCanalInstanceGenerator#generate去生成实例
```
	canal.instance.global.spring.xml = classpath:spring/file-instance.xml
```

过滤机制初始化

解析过滤处理（spring/file-instance.xml）
1.1 读取exmaple/instance.properties的canal.instance.filter.regex属性，没有则默认为.…
1.2 解析完后，调用AbstractMysqlEventParser#setEventFilter设置eventFilter属性

AviaterRegexFilter#filter过滤

在这里插入图片描述

在LogEventConvert#parseRowsEventForTableMeta进行过滤拦截
1.1 调式发现fullname为test.user(数据库.表名)，所以可以修改正则表达式只监听满足指定表

TraceId的设计

通过TraceId关联操作信息和数据变更信息，但TraceId怎么传递了？
1.1 TraceId在切面入口生成，然后存到调用链上下文
1.2 在JDBC数据库操作时，更新业务表的TraceId字段
1.3 Cannal监听时取出变更后的TraceId字段，与操作信息进行绑定
为了解决跨线程池的问题，使用阿里开源的ThreadLocal组件：transmittable-thread-local
2.1 更多关于调用链上下文传递参考：http://college.creditease.cn/detail/221

TraceId传递

在切面开始处，通过日志上下文设置TraceID

在JDBC数据库操作时，取出TraceID

public class OperationLogContext {
    final static TransmittableThreadLocal<String> ttlContext = new TransmittableThreadLocal<>();

    public static void setTraceId(String traceId){
        ttlContext.set(traceId);
    }

    public static String getTraceId(){
        return ttlContext.get();
    }

    public static void clear(){
        ttlContext.remove();
    }
}