Sentinel动态推拉数据持久化同步到Nacos

最新推荐文章于 2024-07-23 17:42:21 发布

程序员劝退师-TAO

最新推荐文章于 2024-07-23 17:42:21 发布

阅读量1k

点赞数

分类专栏： # Sentinel

本文链接：https://blog.csdn.net/CSDN877425287/article/details/116500573

版权

Sentinel 专栏收录该内容

7 篇文章 2 订阅

订阅专栏

前言

在我们使用Sentinel做熔断限流等操作时，一些设置好的配置默认是存放在当前服的内存中的，那么也就意味着每次重启服务，这些配置好的配置就会消失。在我们搭建微服务架构做测试的时候不是很友好。大家都知道Sentinel提供了一些持久化方式，如持久化到Nacos、本地JSON文件。这种方式虽然能解决持久化的操作，但是不能自动同步更新，也就是持久化配置写成什么样就是什么样，在程序启动后，无法动态更新到持久化存储中！当然能做到持久化Nacos或者本地JSON已经很不错了！如果作用做到这一步那么请见Sentinel整合Nacos做持久化这篇文章就够了，如果想要更加灵活，想在运行过程中动态同步Nacos那么就请往下看！

Sentinel动态推拉数据持久化同步到Nacos

这个操作字面意思看似只要同步Nacos这一套逻辑，其实并不是，同步Nacos其实分为普通服务同步Nacos和Gateway同步Nacos。因为二者无论是在Sentinel Datasource（Sentinel服务端）还是我们自己的业务服(包括网关和其他服)通知拉取推送机制都是不一样的，所以针对这种情况需要做两手逻辑操作！

在写动态拉取数据持久化Nacos前，先保证普通服务整合Sentinel和Gateway整合Sentinel默认流程先能跑通！

Sentinel动态推拉数据持久化同步到Nacos(通用部分)

1.下载Sentinel源码
Sentinel-GitHub
在这里插入图片描述
我这里以1.7.1版本为基准，说到版本，这里我要多提一嘴，微服务架构搭建最恶心的我觉得倒不是代码有多难写，往往是代码没什么问题，总是各种版本对不上，这就比较头痛，不过我这里提供一套方案，这套版本适配的方案是比较准的，能帮我们确定一个版本的请款下适配Spring Boot、Spring Cloud、Spring Cloud Alibaba之间的版本版本说明，我整套微服务架构的版本使用的是Spring Boot 2.3.2.RELEASE、Spring Cloud Alibaba 2.2.5.RELEASE、Spring Cloud Hoxton.SR8

在这里插入图片描述
不扯远了，收回来接着本文继续搞重点！

这就是我们要二开的源码，idea打开一下

2.修改pom.xml
修改pom.xml中的sentinel-datasource-nacos的依赖，将test注释掉，这样才能在主程序中使用。

<dependency>
    <groupId>com.alibaba.csp</groupId>
    <artifactId>sentinel-datasource-nacos</artifactId>
    <!--<scope>test</scope>-->
</dependency>

在这里插入图片描述
3.创建nacossync目录用来编写我们二开的代码

图中nacossync中这些类就是我们要编写的代码！

4.Naocs数据同步Properties映射类
这个类无论是Gateway二开同步还是普通服务二开都是公用的


/**
 * @author TAO
 * @description: Naocs数据同步Properties映射类
 * @date 2021/5/1 22:36
 */
@Component
@ConfigurationProperties(prefix = "nacos.server")
public class NacosConfigProperties {

    private String ip;

    private String port;

    private String namespace;

    private String groupId;

    public String getIp() {
        return ip;
    }

    public void setIp(String ip) {
        this.ip = ip;
    }

    public String getPort() {
        return port;
    }

    public void setPort(String port) {
        this.port = port;
    }

    public String getNamespace() {
        return namespace;
    }

    public void setNamespace(String namespace) {
        this.namespace = namespace;
    }

    public String getGroupId() {
        return groupId;
    }

    public void setGroupId(String groupId) {
        this.groupId = groupId;
    }

    public String getServerAddr() {
        return this.getIp() + ":" + this.getPort();
    }

    @Override
    public String toString() {
        return "NacosConfigProperties [ip=" + ip + ", port=" + port + ", namespace="
                + namespace + ", groupId=" + groupId + "]";
    }

}

5.Nacos同步常量类
这个类可有可无，就看要不要这么规范

/**
 * @author TAO
 * @description: Nacos同步常量类
 * @date 2021/5/6 23:19
 */
public final class NacosConfigConstant {
    public static final String FLOW_DATA_ID_POSTFIX = "-sentinel-flow";//统一sentinel持久化Nacos的文件后缀
}

6.Nacos同步配置类
这个类的话先写一个空类，后面写到具体的实现时我们在加对应代码！

/**
 * @author TAO
 * @description: Nacos同步配置类
 * @date 2021/5/6 23:19
 */
@Configuration
public class NacosConfig {

    @Autowired
    private NacosConfigProperties nacosConfigProperties;

    /**
     *  TODO 非常关键 这里将FlowRuleEntity转换成FlowRule才会对客户端生效,一下几对是不同场景的版解码器，
     *  TODO 实际上就是将Nacos中的JSON解析为对应的实体类，将对应的实体类解析为JSON存储的
     * @return FlowRule
     */

   	//TODO 后续这里会加对应的Bean代码 注意!

    @Bean
    public ConfigService nacosConfigService() throws Exception {
        Properties properties = new Properties();
        properties.put(PropertyKeyConst.SERVER_ADDR, nacosConfigProperties.getServerAddr());
        properties.put(PropertyKeyConst.NAMESPACE, nacosConfigProperties.getNamespace());
        return ConfigFactory.createConfigService(properties);
    }
}

7.application.properties配置文件，添加Nacos配置
注意namespace这个Nacos命名空间这个如果使用publish可以不写，如果是其他自建的namespace那么除了写namespace之外还要加其他的标识信息，这个我没深入研究

nacos.server.ip=nacos-ip
nacos.server.port=8848
nacos.server.namespace=
nacos.server.group-id=DEFAULT_GROUP

8.我们自己的业务服添加一下依赖

		<!--sentinel-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
        </dependency>

        <!--sentinel-nacos持久化-->
        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-datasource-nacos</artifactId>
        </dependency>

9.我们自己的业务服添加一下配置
这段配置其实在做持久化Nacos时应该都写上了，这里还是提一嘴！

spring:
  application:
    name: yy-auth
  cloud:
    nacos:
      discovery:
        server-addr: nacos:8848
    sentinel:
      transport:
        dashboard: sentinel:9999
        client-ip: 192.168.1.109 # 防止sentinel抓取虚拟ip
        port: 8719
      datasource: #注意虽然sentinel配置了同步nacos拓展，并且数据能在控制台上同步显示，但是那些数据只是控制台读取的，并不是我们自己真实的服务读取的，所以下面配置还要写
        ds1:
          nacos:
            server-addr: nacos:8848
            #namespace: sentinel
            dataId: yy-auth-sentinel-flow
            groupId: DEFAULT_GROUP
            data-type: json
            rule-type: flow

走到这一步那么普通服务和Gateway的通用部分就编写完成，下面会开始编写二者不同的代码！

Sentinel动态推拉数据持久化同步到Nacos(普通服务)

1.编写拉取Nacos配置类

/**
 * @author TAO
 * @description: 拉取Nacos配置
 * @date 2021/5/6 23:18
 */
@Component("flowRuleNacosProvider")
public class FlowRuleNacosProvider implements DynamicRuleProvider<List<FlowRuleEntity>> {

    private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosProvider.class);

    @Autowired
    private NacosConfigProperties nacosConfigProperties;

    @Autowired
    private ConfigService configService;

    @Autowired
    private Converter<String, List<FlowRuleEntity>> converter;

    @Override
    public List<FlowRuleEntity> getRules(String appName) throws Exception {
        logger.info("当前从Nacos中拉取的限流规则配置文件名:{}", appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX);
        String rules = configService.getConfig(appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), 3000);
        logger.info("从Nacos中拉取到限流规则信息:{}", rules);
        if (StringUtil.isEmpty(rules)) {
            return new ArrayList<>();
        }
        return converter.convert(rules);
    }
}

2.编写推送配置到Nacos类


/**
 * @author TAO
 * @description: 推送配置到Nacos
 * @date 2021/5/6 23:19
 */
@Component("flowRuleNacosPublisher")
public class FlowRuleNacosPublisher implements DynamicRulePublisher<List<FlowRuleEntity>> {

    private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosPublisher.class);

    @Autowired
    private NacosConfigProperties nacosConfigProperties;

    @Autowired
    private ConfigService configService;
    @Autowired
    private Converter<List<FlowRuleEntity>, String> converter;

    @Override
    public void publish(String app, List<FlowRuleEntity> rules) throws Exception {
        AssertUtil.notEmpty(app, "app name cannot be empty");
        if (rules == null) {
            return;
        }
        logger.info("推送到Nacos配置:{}", rules);
        configService.publishConfig(app + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), converter.convert(rules));
    }
}

3.修改流控规则跳转URL
找到resources/app/scripts/directives/sidebar/sidebar.html中的这段代码：

<li ui-sref-active="active">
    <a ui-sref="dashboard.flowV1({app: entry.app})">
        <i class="glyphicon glyphicon-filter"></i>&nbsp;&nbsp;流控规则
    </a>
</li>

修改为：

<li ui-sref-active="active">
    <a ui-sref="dashboard.flow({app: entry.app})">
        <i class="glyphicon glyphicon-filter"></i>&nbsp;&nbsp;流控规则
    </a>
</li>

这样修改之后就会跳转到FlowControllerV2的接口。
4.在Nacos同步配置类中添加对应Bean

//普通服务-Sentinel同步Nacos
    @Bean
    public Converter<List<FlowRuleEntity>, String> flowRuleEntityEncoder() {
        return rules -> JSON.toJSONString(rules.stream().map(FlowRuleEntity::toRule).collect(Collectors.toList()), true);
    }

    @Bean
    public Converter<String, List<FlowRuleEntity>> flowRuleEntityDecoder() {
        return s -> JSON.parseArray(s, FlowRuleEntity.class);
    }

5.将flowRuleDefaultProvider、flowRuleDefaultPublisher替换为我们自己的flowRuleNacosProvider、flowRuleNacosPublisher
将FlowControllerV2中的默认DynamicRuleProvider和DynamicRulePublisher修改为：

@Autowired
@Qualifier("flowRuleNacosProvider")
private DynamicRuleProvider<List<FlowRuleEntity>> ruleProvider;
@Autowired
@Qualifier("flowRuleNacosPublisher")
private DynamicRulePublisher<List<FlowRuleEntity>> rulePublisher;
 

private void publishRules(/*@NonNull*/ String app) throws Exception {
    List<FlowRuleEntity> rules = repository.findAllByApp(app);
    rulePublisher.publish(app, rules);
    logger.info("添加限流规则成功{}", JSON.toJSONString(rules.stream().map(FlowRuleEntity::toRule).collect(Collectors.toList()), true));
}

在这里插入图片描述

重启服务即可！注意，我这里直接修改的是导航栏的跳转URL，所以只有在对应位置才有效

其他入口需要修改才生效。这里我就不过多演示了！

Sentinel动态推拉数据持久化同步到Nacos(Gateway)

Gateway做推拉持久化就更加简单了！废话不都说，干就完事了！
1.编写拉取Nacos-Gateway配置

/**
 * @author TAO
 * @description: 拉取Nacos-Gateway配置
 * @date 2021/5/6 23:18
 */
@Component("flowRuleNacosGatewayProvider")
public class FlowRuleNacosGatewatProvider implements DynamicRuleProvider<List<GatewayFlowRuleEntity>> {

    private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosGatewatProvider.class);

    @Autowired
    private NacosConfigProperties nacosConfigProperties;

    @Autowired
    private ConfigService configService;

    @Autowired
    private Converter<String, List<GatewayFlowRuleEntity>> converter;

    @Override
    public List<GatewayFlowRuleEntity> getRules(String appName) throws Exception {
        logger.info("当前从Nacos中拉取Gateway的限流规则配置文件名:{}", appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX);
        String rules = configService.getConfig(appName + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), 3000);
        logger.info("从Nacos中拉取到Gateway限流规则信息:{}", rules);
        if (StringUtil.isEmpty(rules)) {
            return new ArrayList<>();
        }
        return converter.convert(rules);
    }
}

2.编写推送配置到Nacos-Gateway

/**
 * @author TAO
 * @description: 推送配置到Nacos-Gateway
 * @date 2021/5/6 23:19
 */
@Component("flowRuleNacosGatewayPublisher")
public class FlowRuleNacosGatewayPublisher implements DynamicRulePublisher<List<GatewayFlowRuleEntity>> {

    private static Logger logger = LoggerFactory.getLogger(FlowRuleNacosGatewayPublisher.class);

    @Autowired
    private NacosConfigProperties nacosConfigProperties;

    @Autowired
    private ConfigService configService;
    @Autowired
    private Converter<List<GatewayFlowRuleEntity>, String> converter;

    @Override
    public void publish(String app, List<GatewayFlowRuleEntity> rules) throws Exception {
        AssertUtil.notEmpty(app, "app name cannot be empty");
        if (rules == null) {
            return;
        }
        logger.info("推送到Gateway-Nacos配置:{}", rules);
        configService.publishConfig(app + NacosConfigConstant.FLOW_DATA_ID_POSTFIX, nacosConfigProperties.getGroupId(), converter.convert(rules));
    }
}

3.Nacos同步配置类添加相应Bean

//Gateway-Sentinel同步Nacos
    @Bean
    public Converter<List<GatewayFlowRuleEntity>, String> gatewayFlowRuleEntityEncoder() {
        return rules -> JSON.toJSONString(rules);
    }

    @Bean
    public Converter<String, List<GatewayFlowRuleEntity>> gatewayFlowRuleEntityDecoder() {
        return s -> JSON.parseArray(s, GatewayFlowRuleEntity.class);
    }

完整的代码
在这里插入图片描述
4.Gateway服务pom添加相应依赖

	<!--sentinel-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
        </dependency>
        <!--sentinel-gateway-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId>
        </dependency>

        <!--sentinel-nacos持久化-->
        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-datasource-nacos</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-spring-cloud-gateway-adapter</artifactId>
        </dependency>

5.Gateway服务添加配置

spring:
  application:
    name: yy-gateway
  main:
    allow-bean-definition-overriding: true
  cloud:
    nacos:
      discovery:
        server-addr: nacos:8848
    sentinel:
      transport:
        dashboard: sentinel:9999
        client-ip: 10.0.0.208 # 防止sentinel抓取虚拟ip
        port: 8719
      datasource: #注意虽然sentinel配置了同步nacos拓展，并且数据能在控制台上同步显示，但是那些数据只是控制台读取的，并不是我们自己真实的服务读取的，所以下面配置还要写
        ds1:
          nacos:
            server-addr: nacos:8848
            #namespace: sentinel
            dataId: yy-gateway-sentinel-flow
            groupId: DEFAULT_GROUP
            data-type: json
            rule-type: gw-flow

这里注意一下rule-type和普通服务不一样， gw-flow,重启服务即可！

程序员劝退师-TAO

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
2
评论
Sentinel动态推拉数据持久化同步到Nacos

前言在我们使用Sentinel做熔断限流等操作时，一些设置好的配置默认是存放在当前服的内存中的，那么也就意味着每次重启服务，这些配置好的配置就会消失。在我们搭建微服务架构做测试的时候不是很友好。大家都知道Sentinel提供了一些持久化方式，如持久化到Nacos、本地JSON文件。这种方式虽然能解决持久化的操作，但是不能自动同步更新，也就是持久化配置写成什么样就是什么样，在程序启动后，无法动态更新到持久化存储中！当然能做到持久化Nacos或者本地JSON已经很不错了！如果作用做到这一步那么请见Sentin
复制链接

扫一扫