Sentinel 规则持久化，基于Redis持久化【附带源码】

于 2024-03-03 16:39:09 发布
阅读量1.1k 收藏 21
点赞数 23
分类专栏： # 微服务 文章标签： sentinel redis 数据库 sentinel持久化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tomwildboar/article/details/136433535
版权

B站视频讲解

学习链接🔗

文章目录



上一篇讲Sentinel的时候，是用dashboard直接和服务进行交互，实时的新增/删除限流规则，所有的规则都存储在应用服务的内存中，每次重启服务之后再刷新dashboard就没有对应规则信息了。

这当然不是我们希望看到的，如果想要长久的保存规则，有且只有一个办法，那就是规则数据持久化。


一、理论


  1. 既然dashboard可以把规则推送到服务端，那服务端就可以拿到规则去持久化到硬盘上（文件、MySQL…），怎么说呢？这看起来不是个好办法，首先它很low，其次也不好解决分布式系统数据一致性的问题。
  2. 那换一种思路，dashboard先把规则推送给A，再由A把规则下发到各个具体的应用服务。这样A就相当于一种中心存储，解决了数据存储的问题，同时A实时下发给应用服务解决了数据一致性的问题。

这个A，官方给出了几种实现Nacos、ZooKeeper、Apollo、Redis。（理论上是可以自己去重写做到任何实现）


第一种方式就不推荐了，下面基于方式二来做实践，这里选用Redis来，主要是目前电脑只安装了Redis，原理是一样的。

下面是官方给出的图，要理解，是先把规则给到A，再由A去下发规则。（所以需要修改dashboard源码，让它先请求A）


想深入了解的可以参看下面的文档：

  1. https://github.com/alibaba/Sentinel/wiki/动态规则扩展
  2. https://github.com/alibaba/Sentinel/wiki/在生产环境中使用-Sentinel

二、实践


基于上面的分析，需要分两步改造

  1. 让dashboard把规则数据推送给Redis
  2. 应用服务接受Redis的下发（基于Redis的发布订阅功能）

注：会在Redis定义一个Key用来存储最终的规则数据，还会定义一个通道用来实时推送规则数据


2-1、dashboard 请求Redis


从Github下载dashboard源码：https://github.com/alibaba/Sentinel/releases

默认情况下，dashboard限流策略请求的是这个 v1 接口，官方还提供了一个 v2，这个v2就是持久化的接口，基于不同的持久化策略，只需要在 v2的版本里面替换对应的 DynamicRuleProvider、DynamicRulePublisher
在这里插入图片描述


2-1-1、依赖、配置文件引入


1、Redis-starter 引入

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
    <version>${spring.boot.version}</version>
</dependency>

2、配置文件修改

spring.redis.host=127.0.0.1
spring.redis.port=6379
spring.redis.database=0

3、Redis配置

@Configuration
public class RedisConfig {

    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
        RedisTemplate<String, Object> redisTemplate = new RedisTemplate<String, Object>();
        redisTemplate.setConnectionFactory(factory);
        redisTemplate.setEnableTransactionSupport(true);
        GenericJackson2JsonRedisSerializer jsonRedisSerializer = new GenericJackson2JsonRedisSerializer();
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
        redisTemplate.setValueSerializer(jsonRedisSerializer);
        redisTemplate.setKeySerializer(stringRedisSerializer);
        redisTemplate.setHashKeySerializer(stringRedisSerializer);
        redisTemplate.setHashValueSerializer(jsonRedisSerializer);
        redisTemplate.afterPropertiesSet();
        return redisTemplate;
    }
}

2-1-2、常量定义


public final class Constants {
    
    // 最终规则是存储的key
    public static final String RULE_FLOW_PREFIX = "sentinel:rule:flow:xdx";

    // Redis的订阅发布功能，需要一个通道
    public static final String RULE_FLOW_CHANNEL_PREFIX = "sentinel:channel:flow:xdx";
    
    // 每一个规则都需要唯一id，基于Redis生成id
    public static final String RULE_FLOW_ID_KEY = "sentinel:id:flow:xdx";
}

2-1-3、改写唯一id


import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

@Component
public class RedisIdGenerator {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    public long nextId(String key) {
        return redisTemplate.opsForValue().increment(key, 1);
    }
}

在这里插入图片描述


2-1-4、新Provider和Publisher


Provider的目的是读取Redis的内存数据

import com.alibaba.csp.sentinel.dashboard.datasource.entity.rule.FlowRuleEntity;
import com.alibaba.csp.sentinel.dashboard.rule.DynamicRuleProvider;
import com.alibaba.fastjson.JSON;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.Assert;
import org.springframework.util.StringUtils;

import java.util.Collections;
import java.util.List;

import static com.alibaba.csp.sentinel.dashboard.xdx.Constants.RULE_FLOW_PREFIX;

@Component("flowRuleRedisProvider")
public class FlowRuleRedisProvider implements DynamicRuleProvider<List<FlowRuleEntity>> {

    private final Logger logger = LoggerFactory.getLogger(FlowRuleRedisProvider.class);

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    @Override
    public List<FlowRuleEntity> getRules(String appName) throws Exception {
        Assert.notNull(appName, "应用名称不能为空");
        logger.info("拉取redis流控规则开始: {}", appName);
        String key = RULE_FLOW_PREFIX;
        String ruleStr = (String)redisTemplate.opsForValue().get(key);
        if(StringUtils.isEmpty(ruleStr)) {
            return Collections.emptyList();
        }
        List<FlowRuleEntity> rules = JSON.parseArray(ruleStr, FlowRuleEntity.class);
        logger.info("拉取redis流控规则成功, 规则数量: {}", rules.size());
        return rules;
    }
}

每次规则变动，都把最新规则存到Redis里面去，并使用Redis通道发布

import com.alibaba.csp.sentinel.dashboard.datasource.entity.rule.FlowRuleEntity;
import com.alibaba.csp.sentinel.dashboard.rule.DynamicRulePublisher;
import com.alibaba.fastjson.JSON;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.Assert;

import java.util.List;

import static com.alibaba.csp.sentinel.dashboard.xdx.Constants.RULE_FLOW_CHANNEL_PREFIX;
import static com.alibaba.csp.sentinel.dashboard.xdx.Constants.RULE_FLOW_PREFIX;

@Component("flowRuleRedisPublisher")
public class FlowRuleRedisPublisher implements DynamicRulePublisher<List<FlowRuleEntity>> {

    private final Logger logger = LoggerFactory.getLogger(FlowRuleRedisPublisher.class);

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    @Override
    public void publish(String app, List<FlowRuleEntity> rules) throws Exception {
        Assert.notNull(app, "应用名称不能为空");
        Assert.notEmpty(rules, "策略规则不为空");
        logger.info("推送流控规则开始, 应用名: {}, 规则数量: {}", app, rules.size());
        String ruleKey = RULE_FLOW_PREFIX;
        String ruleStr = JSON.toJSONString(rules);
        // 数据存储
        redisTemplate.opsForValue().set(ruleKey, ruleStr);
      
        // 数据发布
        redisTemplate.convertAndSend(RULE_FLOW_CHANNEL_PREFIX, ruleStr);
    }
}

2-1-5、改写V2


  1. 刚刚说默认是请求V1版本，这里为了简单，直接把V1的@RequestMapping注释，把V2的@RequestMapping改成V1（可以改前端，让它请求到V2）
  2. 把新 V1的Publisher和Provider改成新的Redis版本
  3. 下图也是每个类的位置

在这里插入图片描述


2-2、应用服务改造


  1. https://github.com/alibaba/Sentinel/wiki/动态规则扩展
  2. Sentinel 官方已经做了Redis适配，使用起来也很简单了

2-2-1、依赖、配置文件引入


1、新增pom文件

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-redis</artifactId>
    <version>1.8.6</version>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2、配置文件

spring:
  redis:
    host: 127.0.0.1
    port: 6379

3、Redis 配置文件（和上面一样）

@Configuration
public class ConfigRedis {
    
    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) 
    {
        RedisTemplate<String, Object> redisTemplate = new RedisTemplate<String, Object>();
        redisTemplate.setConnectionFactory(factory);
        redisTemplate.setEnableTransactionSupport(true);
        GenericJackson2JsonRedisSerializer jsonRedisSerializer = new GenericJackson2JsonRedisSerializer();
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();
        redisTemplate.setValueSerializer(jsonRedisSerializer);
        redisTemplate.setKeySerializer(stringRedisSerializer);
        redisTemplate.setHashKeySerializer(stringRedisSerializer);
        redisTemplate.setHashValueSerializer(jsonRedisSerializer);
        redisTemplate.afterPropertiesSet();

        return redisTemplate;
    }
}

2-2-2、注册监听器


直接在启动类里面改造就好了

@SpringBootApplication
public class App11 implements ApplicationRunner {

    public static void main(String[] args) {
        SpringApplication.run(App11.class, args);
    }


    public static final String RULE_FLOW_PREFIX = "sentinel:rule:flow:xdx";

    public static final String RULE_FLOW_CHANNEL_PREFIX = "sentinel:channel:flow:xdx";

    @Override
    public void run(ApplicationArguments args)  {
        Converter<String ,List<FlowRule>> parser = source -> {
            List<FlowRule> flowRules = new ArrayList<>();
            if (source != null) {
                String replace = source.replace("\\", "");
                String substring = replace.substring(1, replace.length() - 1);
                flowRules = JSON.parseArray(substring, FlowRule.class);
            }
            return flowRules;
        };
        RedisConnectionConfig config = RedisConnectionConfig.builder()
                .withHost("127.0.0.1")
                .withPort(6379)
                .build();
        ReadableDataSource<String, List<FlowRule>> redisDataSource = new RedisDataSource<>(config, RULE_FLOW_PREFIX, RULE_FLOW_CHANNEL_PREFIX, parser);
        FlowRuleManager.register2Property(redisDataSource.getProperty());

        System.out.println("redis-sentinel-持久化开启");
    }
}

三、源码获取


3-1、使用


下面是修改好的sentinel-dashboard和对应的应用服务，只需要修改两个服务中的Redis连接地址就可以使用，如果你的Redis是 默认的127.0.0.1 和 6379 则无需修改。

在这里插入图片描述


3-2、获取方式


  1. 关注微信公众号：小道仙97
  2. 回复关键字：Sentinel_xdx97

四、参考


  • https://github.com/all4you/sentinel-tutorial/blob/master/sentinel-practice/sentinel-persistence-rules/sentinel-persistence-rules.md
  • https://sentinelguard.io/zh-cn/blog/use-sentinel-dashboard-in-production.html
  • https://github.com/alibaba/Sentinel/tree/master/sentinel-extension/sentinel-datasource-redis
  • https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95
  • https://github.com/alibaba/Sentinel/tree/master/sentinel-extension/sentinel-datasource-redis
  • https://www.jianshu.com/p/997a2255ff23
  • https://github.com/alibaba/Sentinel/wiki/%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E4%BD%BF%E7%94%A8-Sentinel
  • https://github.com/alibaba/Sentinel/wiki/Sentinel-%E6%8E%A7%E5%88%B6%E5%8F%B0%EF%BC%88%E9%9B%86%E7%BE%A4%E6%B5%81%E6%8E%A7%E7%AE%A1%E7%90%86%EF%BC%89#%E8%A7%84%E5%88%99%E9%85%8D%E7%BD%AE
  • https://blog.csdn.net/qq_42714869/article/details/94553378
小道仙97
关注
  • 23
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SpringCloud整合Sentinel实现资源管控Redis持久化规则
xiewuchao的博客
03-25 2104
Sentinel 是什么？ 随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。 Sentinel 具有以下特征: 丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可...
win版redis客户端安装包，可视化工具
12-06
Redis是一个开源(BSD许可)，内存中的数据结构存储，用作数据库、缓存和消息代理。它支持字符串、散列、列表、集合、带范围查询的排序集合、位图、超loglogs、带半径查询和流的地理空间索引等数据结构。Redis具有内置的复制、Lua脚本、LRU退出、事务和不同级别的磁盘持久性，并通过Redis Sentinel和Redis集群自动分区提供高可用性
spring cloud sentinel dashboard redis实现网关修改
10-18
spring cloud sentinel dashboard redis实现网关修改
最新版redis源码4.0.9带注释
05-21
Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。
sentinel-dashboard.zip
06-08
完成sentinel持久化到redis的限流规则、降级规则、系统规则、热点规则、授权规则的dashboard控制台改造以及服务端初始化数据配置
Sentinel-redis持久化
m0_58590712的博客
02-17 815
Sentinel-redis持久化
sentinel控制台结合网关gateway项目实现pull模式持久化规则
amazing_Code的博客
10-22 499
环境： 自己搭建的一个微服务项目； 一个网关项目； sentinel项目，从官网下载的源码； 网关和sentinel完成关联； 1.在网关项目里新建一个类，如下： package com.alibaba.csp.sentinel.dashboard.rule.file; import java.io.File; import java.io.IOException; import java.util.List; import com.alibaba.csp.sentinel.command.handle
Sentinel规则配置使用持久化(基于Redis)
我怀念的是-无话不说的博客
05-19 5661
本次引用版本 1.7.2 目前最新版本为1.8.0 git地址:https://github.com/alibaba/Sentinel 从 Sentinel 1.4.0 开始，sentinel抽取出了接口用于向远程配置中心推送规则以及拉取规则：1.DynamicRuleProvider<T>: 拉取规则 2.DynamicRulePublisher<T>: 推送规则 用户需实现DynamicRuleProvider和DynamicRulePubli...
阿里sentinel监控使用redis持久化规则
qq_42714869的博客
07-03 5820
规则配置 一、从 Sentinel 1.4.0 开始，sentinel抽取出了接口用于向远程配置中心推送规则以及拉取规则： DynamicRuleProvider<T>: 拉取规则 DynamicRulePublisher<T>: 推送规则 用户只需实现DynamicRuleProvider和DynamicRulePublisher接口，即可实现应用维...
Sentinel持久化实战
code_agent的博客
07-05 755
Sentinel有pull（拉）模式，和push（推）模式。本文是使用reids实现pull模式。
springboot_sentinelredis
01-29
spring boot 集成sentinelredis，demo 对应博客地址：http://blog.csdn.net/woniu211111/article/details/54646755
使用redis sentinel构建redis高可用
dayi_123的博客
09-03 1198
一、redis sentinel部署 1、主从复制存在的问题 （1）主节点出现故障时，整个故障的迁移过程需要人工干预 （2）主节点写能力受到单机限制 （3）主节点存储能力受到单机限制 2、redis sentinel概述       Redis sentinel是redis2.8版本推出的监控redis主从复制的一套分布式架构，redis sentinel中包含若干个sentinel节...
【Redis】深入探索 Redis 的哨兵（Sentinel）机制原理，基于 Docker 模拟搭建 Redis 主从结构和哨兵分布式架构
qq_61635026的博客
09-21 932
Redis Sentinel（Redis 哨兵）是一个用于监控和管理 Redis 高可用性（High Availability）的系统。它是 Redis 官方提供的一种解决方案，用于确保 Redis 在面临主节点故障等异常情况时能够自动进行故障切换，保持系统的可用性。 Redis Sentinel 的主要功能包括： 监控： Sentinel 节点会定期检查 Redis 主从节点的健康状态，以确保它们正常运行。 故障检测： Sentinel 可以检测到主节点的故障，并快速将其切换到备用的从节点，以避免服务
SpringCloudGateway集成Sentinel并持久化到Redis
最新发布
wuhongkui的博客
12-30 491
客户端利用sentinel-transport-simple-http模块暴露一个特定的端口，sentinel-dashboard项目通过http的形式进行数据推送，客户端接收后将规则保存在本地内存中，如下图。注意：由于redis没有控制台，所以当客户端挂掉重启后，内存中的限流、降级等配置信息丢失，sentinel-dashboard项目需要通过按钮，定时任务等重新推送配置信息给客户端，或者客户端自己拉取规则。// 当参数属性为2-Header 3-URL参数 4-Cookie时，参数名称必填。
【Redis】全量复制和部分复制
咔咔博客
09-10 1844
1. 相关概念 1.1 全量复制 用于初次复制或其它无法进行部分复制的情况，将主节点中的所有数据都发送给从节点，是一个IE非常重型的操作，当数据量较大时，会对主从节点和网络造成很大的开销 1.2 部分复制 用于处理主从复制中因网络闪断原因造成的数据丢失场景，当从主节点再次连接上主节点后，如果（条件允许），主节点会补发丢失数据给从节点。因为补发的数据远远小于全量数据，可以有效避免全量复制的过...
Sentinel-持久化
一只打杂的码农
05-22 3010
直接使用dashboard和sentinel配置各种规则时，默认是存在了内存中。如果服务器重启那么数据就会丢失，从而Sentinel提供了5中持久化的方式，将各种配置数据进行持久化，若服务器重启就重新加载持久化的数据，防止数据丢失。 1、持久化原理 Sentinel 为我们提供了两个接口来实现规则的持久化，他们分别是：ReadableDataSource 和 WritableDataSource。其中主要关注ReadableDataSource。 public interface ReadableDa.
第二十三章 alibaba sentinel详解-sentinel持久化
qq_41946216的博客
11-08 1187
直接使用dashboard和sentinel配置各种规则时，默认是存在了内存直接使用dashboard和sentinel配置各种规则时，默认是存在了内存中。如果服务器重启那么数据就会丢失，从而Sentinel提供了5中持久化的方式，将各种配置数据进行持久化，若服务器重启就重新加载持久化的数据，防止数据丢失。 目前 Sentinel 中默认实现了5种规则持久化的方式，分别是：file、redis、nacos、zk和apollo。 可以在 sentinel 控制台中编辑 限流配
Sentinel持久化配置
qq_41683000的博客
06-14 771
Sentinel持久化配置
sentinel规则持久化
06-13
Sentinel 的规则可以进行持久化，以保证规则不会因为 Sentinel 的重启而丢失。Sentinel 支持将规则持久化到本地磁盘或者 Redis 集群中，可以通过配置文件中的 `sentinel deny-scripts-reconfig` 选项来指定规则的持久化方式。如果设置为 `yes`，则 Sentinel 在启动和重启时会从本地磁盘或 Redis 集群中加载规则；如果设置为 `no`，则 Sentinel 在启动和重启时不会加载规则，而是需要通过 `SENTINEL loadconfig` 命令手动加载规则。需要注意的是，如果使用 Redis 集群来持久化规则，需要保证 Redis 集群的高可用性，以避免规则丢失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值