通用多级缓件组件

背景

业界第三方缓存框架一般为redis，本地缓地ehcache或guava，一般通过spring提供的restTemplate操作缓存

然而这样会存在以下问题：

• 与缓存中间件强耦合
• 需手动整合多级缓存
• 不支持注解
• 数据更新时无法自动刷新缓存
• 存在缓存穿透、缓存击穿、缓存雪崩风险
• 日志不足

改造方案

基于上述问题，针对每点问题提出修复/优化方案：

1、与缓存中间件强耦合

对外仅暴露一个接口cacheService操作缓存，调用方无需关心内部实现，但需要通过配置开启第三方缓存

2、需手动整合多级缓存

自动整合两级缓存，redis + guava

3、不支持注解

增加自定义注解

4、数据更新时无法自动刷新缓存（未实现）

使用阿里开源框架canal监听mysql的binlog日志，将变更通过MQ广播到消费端，由消费端实时更新缓存：

1）MQ划分两个组：集群组与机器组，分别用于处理第三方缓存刷新（只需一台机器处理）和本地缓存刷新（每台机器都要处理）

2）canal收到binlog变更后，发送一条消息到集群组

3）收到消息的机器先判断缓存是否开启了本地缓存，若是则向机器组发送一条消息，然后判断是否开启了第三方缓存，若有则刷新最新数据

4）收到本地缓存消息的机器刷新本地缓存最新数据

5、存在缓存穿透、缓存击穿、缓存雪崩风险

缓存穿透：增加NULL值，缓存较短的时间

缓存击穿：增加锁同步数据获取过程

缓存雪崩：增加预警参数提前异步刷新，热点缓存监控

6、日志不足

增加统一日志，方便排查问题

详细设计

模块组成：

类图：

配置类

支持两级缓存：一级为本地缓存，使用guava实现；二级为分布式缓存，使用redis + redisson实现

二级缓存需要添加分布式服务配置，而一级缓存在缓存单位中配置即可，实时更新依赖MQ服务

1、服务配置

redisson配置类：RedissonConfiguration，用于redis相关配置

详细配置项参考附录

2、缓存单位配置

同一前缀为一个缓存单位，新增配置文件cache-config.yml（参考cache-config-demo.yml）对缓存参数进行定义，服务启动后会解析该文件，将配置保存到CacheConfiguration中

注意：支持依赖jar内配置cache-config.yml，若key冲突则在启动时报错

caches:
  # 业务空间，非必填
  application: mc
  # L1并发级别，即同时支持多少个线程，非必填
  l1ConcurrencyLevel: 10
  # 单个缓存配置
  cache:
    # 前缀，必填，唯一
    prefix: user_
    # 版本，非必填，用于缓存结构改变后升级reload最新内容
    version: v1
    # 缓存时间，必填，支持d/h/m/s，默认s
    expired: 5m
    # 预警时间，非必填，支持d/h/m/s，默认s，用于提前更新
    alarm: 2m
    # 序列化方式，非必填，支持hessian/jdk，默认hessian
    serializer: hessian
    # 开启一级缓存，非必填，一二级至少开启其一
    L1:
      # 初始容量，非必填，Guava扩容代价大，尽量指定所需容量
      initialCapacity: 100
      # 最大容量，必填
      maximumSize: 1000
      # 并发级别，非必填，优先级高于l1ConcurrencyLevel
      concurrencyLevel: 10
    # 开启二级缓存，非必填，一二级至少开启其一
    L2:
      # 指定配置名称，必填（否则无法解析为对象），用于多分布式缓存源，为空使用默认配置
      ref: xxxConfig
    # 实时更新配置，非必填（未实现）
    reload:
      # 订阅的表，必填，多个用逗号分隔
      table: user, lesson
      # reload操作，非必填，UPDATE（更新）/DELETE（删除，默认）/RELOAD(重新刷新)
      operation: UPDATE
      # key拼接方式，非必填，数据库记录用小括号作动态替换
      key: _(id)

模块服务类

1、存储实体

实体字段如下：

public class CacheEntity implements Serializable {
    private static final long serialVersionUID = 1L;
    // 真实内容，通过hession/jdk进行序列化/反序列化
    private String value;
    // 缓存时间
    private long cacheTime;
    // 预警时间
    private long alarmTime;
}

2、缓存操作

包括常规的get()、set()、add()、del()外，增加带LoadingCache功能的get方法，提供分布式锁方法DLock()、unDLock()，由redisson实现

public  <T> T get(String prefix, String key, LoadingCache loader, Object ... params) {
    CacheEntity entity = null;
    T value = null;
    // 获取缓存单位配置
    Config config = CacheConfiguration.getConfig(prefix);
    if (config.hasL1() != null) {
        // 获取L1结果
        entity = getL1();
    }
    if (entity == null) {
        if (config.hasL2() != null) {
            // 获取L2结果
            entity = getL2();
        }
    }
    if (entity == null && loader != null) {
        // 获取数据
        value = loader.load(params);
        if (value != null) {
            // 设置缓存
            set(prefix, key, value);
        } else {
            // 设置NULL值
            setNull(prefix, key);
        }
        return value;
    }
    return serializer.deserialize(value);
}

3、提前更新

缓存未到expired但已到alarm时，在返回内容之前开启异步线程提前更新缓存内容

private void alarmUpdate(Config config, CacheEntity entity, LoadingCache loader) {
    long time = System.currentTimeMillis() + entity.getCacheTime();
    if (time > entity.getAlarmTime()) {
        T value = loader.load();
        if (value != null) {
            // 设置缓存
            set(prefix, key, value);
        }
    }
}

4、注解配置

支持在方法上增加自定义注解，在调用时自动走缓存

// 获取单个缓存
@MethodCache("user_")
public List getList(int id, String name) {
    // ...
}
// 获取批量缓存
// 注意第一个参数必须为key的list集合，返回以key分组
@MultipleMethodCache(CacheServiceTest.l1Prefix)
public Map<String, CacheTestB> getMultiAutoIncrement(List<String> keys, String value, int num) {
    // ...
}

注意：只能增强由spring管理的类方法

5、实时更新（未实现）

使用阿里开源框架canal监听mysql的binlog日志，将变更通过MQ广播到消费端，具体参考：Canal Kafka RocketMQ QuickStart

服务收到消息后，对消息进行解析处理

public boolean consumer(byte[] bytes) {
    Message message = JsonUtil.fromStr(bytes, Message.class);
    String table = message.getTable();
    // 获取reload配置
    ReloadConfig reloadConfig = CacheConfiguration.getReloadConfig(table);
    if (reloadConfig != null) {
        String key = reloadConfig.getKey();
        if (reloadConfig.getOperation() == DELETE) {
            // 删除缓存
            del(key);
        } else {
            // 更新缓存
            update(key, message);
        }
    }
}

6、其它

• 增加debug级别日志打印
• 增加是否使用缓存配置，用于测试用例

待实现功能

• 目前仅支持byte数组存储，后期将开放redis其它类型的实现（部分redis独有的类型geo等如真有需求，是否考虑直接提供client？这样子就增加了耦合性）
• 基于canal自动刷新缓存
• 热点数据统计

附录

源码

基于spring boot通用多级缓件组件: 业界第三方缓存框架一般为redis，本地缓地ehcache或guava，一般通过spring提供的restTemplate操作缓存，然而这样会存在一些问题，期望通过此组件解决问题

redis配置

以redisson作为前缀，开启redis配置：redisson.open.flag=true

单机版redis

#单Redis节点模式

redisson.singleServerConfig.address=127.0.0.1:6379

集群模式

集群模式除了适用于Redis集群环境，也适用于任何云计算服务商提供的集群模式，例如AWS ElastiCache集群版、Azure Redis Cache和阿里云（Aliyun）的云数据库Redis版。

#集群模式

redisson.model=CLUSTER

#redis机器.一直累加下去

redisson.multiple-server-config.node-addresses[0]=127.0.0.1:6379

redisson.multiple-server-config.node-addresses[1]=127.0.0.1:6380

redisson.multiple-server-config.node-addresses[2]=127.0.0.1:6381

云托管模式

云托管模式适用于任何由云计算运营商提供的Redis云服务，包括亚马逊云的AWS ElastiCache、微软云的Azure Redis 缓存和阿里云（Aliyun）的云数据库Redis版

#云托管模式

redisson.model=REPLICATED

#redis机器.一直累加下去

redisson.multiple-server-config.node-addresses[0]=127.0.0.1:6379

redisson.multiple-server-config.node-addresses[1]=127.0.0.1:6380

redisson.multiple-server-config.node-addresses[2]=127.0.0.1:6381

哨兵模式

redisson.model=SENTINEL

#主服务器的名称是哨兵进程中用来监测主从服务切换情况的。

redisson.multiple-server-config.master-name="mymaster"

#redis机器.一直累加下去

redisson.multiple-server-config.node-addresses[0]=127.0.0.1:6379

redisson.multiple-server-config.node-addresses[1]=127.0.0.1:6380

redisson.multiple-server-config.node-addresses[2]=127.0.0.1:6381

主从模式

redisson.model=MASTERSLAVE

#第一台机器就是主库.其他的为从库

redisson.multiple-server-config.node-addresses[0]=127.0.0.1:6379

redisson.multiple-server-config.node-addresses[1]=127.0.0.1:6380

redisson.multiple-server-config.node-addresses[2]=127.0.0.1:6381

属性列表

基本都是官方参数.我将参数整合了下.分为 公共参数,单例模式参数,集群模式参数

1.公共参数

属性名	默认值	备注
redisson.name	default	配置名称，必须保证唯一，否则配置将被覆盖
redisson.password		用于节点身份验证的密码。
redisson.attemptTimeout	10000L	等待获取锁超时时间,-1则是一直等待
redisson.lockModel	单个key默认可重入锁 多个key默认联锁	锁的模式.如果不设置, REENTRANT(可重入锁),FAIR(公平锁),MULTIPLE(联锁),REDLOCK(红锁),READ(读锁), WRITE(写锁)
redisson.model	SINGLE	集群模式:SINGLE(单例),SENTINEL(哨兵),MASTERSLAVE(主从),CLUSTER(集群),REPLICATED(云托管)
redisson.codec	org.redisson.codec.JsonJacksonCodec	Redisson的对象编码类是用于将对象进行序列化和反序列化，以实现对该对象在Redis里的读取和存储
redisson.threads	当前处理核数量 * 2	这个线程池数量被所有RTopic对象监听器，RRemoteService调用者和RExecutorService任务共同共享。
redisson.nettyThreads	当前处理核数量 * 2	这个线程池数量是在一个Redisson实例内，被其创建的所有分布式数据类型和服务，以及底层客户端所一同共享的线程池里保存的线程数量。
redisson.transportMode	NIO	TransportMode.NIO,TransportMode.EPOLL - 需要依赖里有netty-transport-native-epoll包（Linux） TransportMode.KQUEUE - 需要依赖里有 netty-transport-native-kqueue包（macOS）
redisson.idleConnectionTimeout	10000	如果当前连接池里的连接数量超过了最小空闲连接数，而同时有连接空闲时间超过了该数值，那么这些连接将会自动被关闭，并从连接池里去掉。时间单位是毫秒
redisson.connectTimeout	10000	同任何节点建立连接时的等待超时。时间单位是毫秒。
redisson.timeout	3000	等待节点回复命令的时间。该时间从命令发送成功时开始计时。
redisson.retryAttempts	3	如果尝试达到 retryAttempts（命令失败重试次数） 仍然不能将命令发送至某个指定的节点时，将抛出错误。如果尝试在此限制之内发送成功，则开始启用 timeout（命令等待超时） 计时。
redisson.retryInterval	1500	在一条命令发送失败以后，等待重试发送的时间间隔。时间单位是毫秒。
redisson.subscriptionsPerConnection	5	每个连接的最大订阅数量。
redisson.clientName		在Redis节点里显示的客户端名称。
redisson.sslEnableEndpointIdentification	true	开启SSL终端识别能力。
redisson.sslProvider	JDK	确定采用哪种方式（JDK或OPENSSL）来实现SSL连接。
redisson.sslTruststore		指定SSL信任证书库的路径。
redisson.sslTruststorePassword		指定SSL信任证书库的密码。
redisson.sslKeystore		指定SSL钥匙库的路径。
redisson.sslKeystorePassword		指定SSL钥匙库的密码。
redisson.lockWatchdogTimeout	30000	监控锁的看门狗超时时间单位为毫秒。该参数只适用于分布式锁的加锁请求中未明确使用leaseTimeout参数的情况。如果该看门口未使用lockWatchdogTimeout去重新调整一个分布式锁的lockWatchdogTimeout超时，那么这个锁将变为失效状态。这个参数可以用来避免由Redisson客户端节点宕机或其他原因造成死锁的情况。
redisson.keepPubSubOrder	true	通过该参数来修改是否按订阅发布消息的接收顺序出来消息，如果选否将对消息实行并行处理，该参数只适用于订阅发布消息的情况。

单例模式参数

属性名	默认值	备注
redisson.singleServerConfig.address		服务器地址,必填ip:port
redisson.singleServerConfig.database	0	尝试连接的数据库编号。
redisson.singleServerConfig.subscriptionConnectionMinimumIdleSize	1	用于发布和订阅连接的最小保持连接数（长连接）。Redisson内部经常通过发布和订阅来实现许多功能。长期保持一定数量的发布订阅连接是必须的。
redisson.singleServerConfig.subscriptionConnectionPoolSize	50	用于发布和订阅连接的连接池最大容量。连接池的连接数量自动弹性伸缩。
redisson.singleServerConfig.connectionMinimumIdleSize	32	最小保持连接数（长连接）。长期保持一定数量的连接有利于提高瞬时写入反应速度。
redisson.singleServerConfig.connectionPoolSize	64	连接池最大容量。连接池的连接数量自动弹性伸缩。
redisson.singleServerConfig.dnsMonitoringInterval	5000	用来指定检查节点DNS变化的时间间隔。使用的时候应该确保JVM里的DNS数据的缓存时间保持在足够低的范围才有意义。用-1来禁用该功能。

集群模式

属性名	默认值	备注
redisson.multiple-server-config.node-addresses		服务器节点地址.必填 redisson.multiple-server-config.node-addresses[0]=127.0.0.1:6379 redisson.multiple-server-config.node-addresses[1]=127.0.0.1:6380 redisson.multiple-server-config.node-addresses[2]=127.0.0.1:6381
redisson.multiple-server-config.loadBalancer	org.redisson.connection.balancer.RoundRobinLoadBalancer	在多Redis服务节点的环境里，可以选用以下几种负载均衡方式选择一个节点： org.redisson.connection.balancer.WeightedRoundRobinBalancer - 权重轮询调度算法 org.redisson.connection.balancer.RoundRobinLoadBalancer - 轮询调度算法 org.redisson.connection.balancer.RandomLoadBalancer - 随机调度算法
redisson.multiple-server-config.slaveConnectionMinimumIdleSize	32	多从节点的环境里，每个 从服务节点里用于普通操作（非 发布和订阅）的最小保持连接数（长连接）。长期保持一定数量的连接有利于提高瞬时读取反映速度。
redisson.multiple-server-config.slaveConnectionPoolSize	64	多从节点的环境里，每个 从服务节点里用于普通操作（非 发布和订阅）连接的连接池最大容量。连接池的连接数量自动弹性伸缩。
redisson.multiple-server-config.masterConnectionMinimumIdleSize	32	多节点的环境里，每个 主节点的最小保持连接数（长连接）。长期保持一定数量的连接有利于提高瞬时写入反应速度。
redisson.multiple-server-config.masterConnectionPoolSize	64	多主节点的环境里，每个 主节点的连接池最大容量。连接池的连接数量自动弹性伸缩。
redisson.multiple-server-config.readMode	SLAVE	设置读取操作选择节点的模式。 可用值为： SLAVE - 只在从服务节点里读取。 MASTER - 只在主服务节点里读取。 MASTER_SLAVE - 在主从服务节点里都可以读取。
redisson.multiple-server-config.subscriptionMode	SLAVE	设置订阅操作选择节点的模式。 可用值为： SLAVE - 只在从服务节点里订阅。 MASTER - 只在主服务节点里订阅。
redisson.multiple-server-config.subscriptionConnectionMinimumIdleSize	1	用于发布和订阅连接的最小保持连接数（长连接）。Redisson内部经常通过发布和订阅来实现许多功能。长期保持一定数量的发布订阅连接是必须的。 redisson.multiple-server-config.subscriptionConnectionPoolSize
redisson.multiple-server-config.dnsMonitoringInterval	5000	监测DNS的变化情况的时间间隔。
redisson.multiple-server-config.scanInterval	1000	(集群,哨兵,云托管模特特有) 对Redis集群节点状态扫描的时间间隔。单位是毫秒。
redisson.multiple-server-config.database	0	(哨兵模式,云托管,主从模式特有)尝试连接的数据库编号。
redisson.multiple-server-config.masterName		(哨兵模式特有)主服务器的名称是哨兵进程中用来监测主从服务切换情况的。

多redis源配置

以multiple.redisson为前缀，sources为多源，以key/value配置，value与上面的配置一致（去掉redission）

例：

multiple.redisson.sources.test2.singleServerConfig.address=10.8.104.71:6379

multiple.redisson.sources.test2.threads=1

即ref=test2时使用上述配置