Spring Alibaba Sentinel实现集群限流demo

已于 2023-07-26 13:01:37 修改
阅读量1k 收藏
点赞数
文章标签： sentinel sentinel集群限流 集群限流
于 2023-07-26 12:36:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A13432421434/article/details/131933884
版权

1.背景

1.什么是单机限流？

小伙伴们或许遇到过下图这样的限流配置

又或者是这样的Nacos动态配置限流规则：

 以上这些是什么限流？没错，就是单机限流，那么单机限流有什么弊端呢？

假设我们集群部署3台机器（NodeA/NodeB/NodeC），在某时刻，同时有25个请求进来，假设NodeA收到12个请求，NodeB 8个，NodeC 5个，并且每个单机限流qps=10，那么这个时候，NodeA将会触发限流，有两个请求BLOCK掉，这是由于可能发生的流量不均导致NodeA节点流量过高导致限流，这是因为每个机器都是自己管自己，有没有一种方法能够统筹调度呢？这就得提到集群限流了

 2.什么是集群限流

 集群限流就是，弄一台Token Server，每个客户端机器作为Token Client，有请求进来，Token Client就会向Token Server拿令牌，拿到令牌则不限流，反正则限流。其中Token Server可以作为独立运行的项目，也可以内嵌式内嵌至每个节点中（需将其中一台机器设置为Token Server，如果Token Server节点所在机器宕机，可以将其他Client节点设置成server，sentinel有相关api提供该操作）

例如上面的例子，集群内有3个节点，如果每个节点能承受10的请求，那么加起来就是3x10=30个请求。也就是说只要qps不超过30个请求都不会触发限流。

2.sentinel实现集群限流

1. 以spring-boot项目构建 sentinel-token-server

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion> 
	<groupId>com.lee.sentinel.tokenserver</groupId>
	<artifactId>sentinel-token-server</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<name>sentinel-token-server</name>
	<description>Demo project for Spring Boot</description>
	<properties>
		<java.version>1.8</java.version>
		<spring-boot.version>2.3.7.RELEASE</spring-boot.version>
	</properties>
	<dependencies>
		
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter</artifactId>
			<exclusions>
				<exclusion>
					<groupId>com.alibaba.spring</groupId>
					<artifactId>spring-context-support</artifactId>
				</exclusion>
			</exclusions>
		</dependency>

		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId> 
		</dependency>
		
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-test</artifactId>
			<scope>test</scope>
		</dependency>
		 
		<!--slf4j-->
		<dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </dependency> 
        
        <!--nacos配置中心-->
        <dependency>
			<groupId>com.alibaba.boot</groupId>
			<artifactId>nacos-config-spring-boot-starter</artifactId>
			<version>0.2.12</version>
			<!--由于jar包冲突，此处排除冲突jar，重新导入高版本jar-->
			<!--nacos-spring-context-1.1.1.jar需要比spring-context-support-1.0.8.jar更高版本的jar-->
			<exclusions>
				<exclusion>
					<groupId>com.alibaba.spring</groupId>
					<artifactId>spring-context-support</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		
		<!--重新引入jar包-->
		<dependency>
			<groupId>com.alibaba.spring</groupId>
			<artifactId>spring-context-support</artifactId>
			<version>1.0.11</version>
		</dependency>
		
		<!--sentinel-cluster-->
		<dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-cluster-server-default</artifactId>
            <version>1.8.5</version>
        </dependency> 
        <!--sentinel dashboard-->
        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-transport-simple-http</artifactId>
            <version>1.8.5</version>
        </dependency>
        <!--sentinel dashboard -> nacos 配置动态感知-->
        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-datasource-nacos</artifactId>
            <version>1.8.5</version>
        </dependency>
         
	</dependencies>

 	<dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-dependencies</artifactId>
                <version>${spring-boot.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>
    
	<build>
		<plugins>
			<plugin>
				<groupId>org.springframework.boot</groupId>
				<artifactId>spring-boot-maven-plugin</artifactId>
			</plugin>
		</plugins>
	</build>

</project>

application.properties

server.port=9009
#应用名称
spring.application.name=sentinel-token-server
#nacos config center
nacos.config.server-addr=192.168.1.105:8848

ClusterServer启动类


import java.util.HashSet;
import java.util.Set;

import com.alibaba.csp.sentinel.cluster.server.ClusterTokenServer;
import com.alibaba.csp.sentinel.cluster.server.SentinelDefaultTokenServer;
import com.alibaba.csp.sentinel.cluster.server.config.ClusterServerConfigManager;
import com.alibaba.csp.sentinel.cluster.server.config.ServerTransportConfig;

public class ClusterServer {
	 
	private static final int TOKEN_SERVER_PORT = 7777;
	private static final int IDLE_SECONDS = 600;
	
	public static void main(String[] args) throws Exception {
		ClusterTokenServer tokenServer = new SentinelDefaultTokenServer();
		ServerTransportConfig serverConfig = new ServerTransportConfig(TOKEN_SERVER_PORT, IDLE_SECONDS); 
		ClusterServerConfigManager.loadGlobalTransportConfig( serverConfig ); 
		 //可以设置多个namespace
		Set<String> namespaceSet = new HashSet<String>();
		namespaceSet.add("user-service"); //dataId=user-service-flow-rules
		ClusterServerConfigManager.loadServerNamespaceSet( namespaceSet ); 
		tokenServer.start();
	}
}

SpringBoot启动类：

 基于spring-boot SPI机制初始化限流规则：

ClusterTokenInitFunc：从

import java.util.List;

import com.alibaba.csp.sentinel.cluster.flow.rule.ClusterFlowRuleManager;
import com.alibaba.csp.sentinel.datasource.ReadableDataSource;
import com.alibaba.csp.sentinel.datasource.nacos.NacosDataSource;
import com.alibaba.csp.sentinel.init.InitFunc;
import com.alibaba.csp.sentinel.slots.block.flow.FlowRule;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;

public class ClusterTokenInitFunc implements InitFunc {

	private String remoteAddress = "192.168.1.105:8848";// nacos配置中心地址
	private String groupId = "SENTINEL_GROUP";
	private String dataId_postfix = "-flow-rules";

	@Override
	public void init() throws Exception {
		// TODO Auto-generated method stub
		loadFlowRuleByNacos();
	}

	private void loadFlowRuleByNacos() {
		// TODO Auto-generated method stub
		// 从Nacos上获取配置进行加载
		ClusterFlowRuleManager.setPropertySupplier(namespace -> {
			// namespace在ClusterServer.java中已配置
			String dataId = namespace + dataId_postfix; // user-service-flow-rules、 coupon-service-flow-rules
			ReadableDataSource<String, List<FlowRule>> readableDataSource = new NacosDataSource<>(remoteAddress,
					groupId, dataId, source -> JSON.parseObject(source, new TypeReference<List<FlowRule>>() {
					}));
			return readableDataSource.getProperty();
		});
	}

}

其中，我的Nacos配置（dataId=user-service-flow-rules）设置如下：

[
    {
    "resource":"com.lee.demo.dubbo.demo.user.ISentinelService",
    "grade":1,
    "count":2,
    "clusterMode":true,
    "clusterConfig":{
        "flowId":"1001",
        "thresholdType":1,
        "fallbackToLocalWhenFail":true
    }
    },{
    "resource":"com.lee.demo.dubbo.demo.user.IHelloService",
    "grade":1,
    "count":30,
    "clusterMode":true,
    "clusterConfig":{
        "flowId":"1002",
        "thresholdType":1,
        "fallbackToLocalWhenFail":true
    }
    }
]

至此sentinel-token-server搭建完成，启动服务

2. 配置客户端Token Client

导包

        <!--nacos配置中心-->
        <dependency>
			<groupId>com.alibaba.boot</groupId>
			<artifactId>nacos-config-spring-boot-starter</artifactId>
			<version>0.2.12</version>
			<!--由于jar包冲突，此处排除冲突jar，重新导入高版本jar-->
			<!--nacos-spring-context-1.1.1.jar需要比spring-context-support-1.0.8.jar更高版本的jar-->
			<exclusions>
				<exclusion>
					<groupId>com.alibaba.spring</groupId>
					<artifactId>spring-context-support</artifactId>
				</exclusion>
			</exclusions>
		</dependency>
		
		<!--重新引入jar包-->
		<dependency>
			<groupId>com.alibaba.spring</groupId>
			<artifactId>spring-context-support</artifactId>
			<version>1.0.11</version>
		</dependency>

        <!--sentinel-dubbo-adapter -->
        <dependency>
			 <groupId>com.alibaba.csp</groupId>
			 <artifactId>sentinel-apache-dubbo-adapter</artifactId>
			 <version>1.8.5</version>
		</dependency>
		<!--sentinel dashboard-->
		<dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-transport-simple-http</artifactId>
            <version>1.8.5</version>
        </dependency>
        <!--sentinel dashboard -> nacos 配置动态感知-->
        <dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-datasource-nacos</artifactId>
            <version>1.8.5</version>
        </dependency>
        <!--sentinel-token-cluster-->
		<dependency>
            <groupId>com.alibaba.csp</groupId>
            <artifactId>sentinel-cluster-client-default</artifactId>
            <version>1.8.5</version>
        </dependency>

 加载集群流控规则：

 ClusterFlowRuleInitFunc.java

import java.util.List;

import com.alibaba.csp.sentinel.cluster.ClusterStateManager;
import com.alibaba.csp.sentinel.cluster.client.config.ClusterClientAssignConfig;
import com.alibaba.csp.sentinel.cluster.client.config.ClusterClientConfig;
import com.alibaba.csp.sentinel.cluster.client.config.ClusterClientConfigManager;
import com.alibaba.csp.sentinel.datasource.Converter;
import com.alibaba.csp.sentinel.datasource.ReadableDataSource;
import com.alibaba.csp.sentinel.datasource.nacos.NacosDataSource;
import com.alibaba.csp.sentinel.init.InitFunc;
import com.alibaba.csp.sentinel.slots.block.flow.FlowRule;
import com.alibaba.csp.sentinel.slots.block.flow.FlowRuleManager;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;

public class ClusterFlowRuleInitFunc implements InitFunc{

	private static final String CLUSTER_SERVER_HOST = "localhost";
	private static final int CLUSTER_SERVER_PORT = 7777;
	private static final int REQUEST_TIME_OUT = 20000;
	
	private static final String remoteAddress = "192.168.1.105:8848";
	private static final String groupId = "SENTINEL_GROUP";  
	private static final String FLOW_POSTFIX="-flow-rules";
    private static final String APP_NAME="user-service";
	
	@Override
	public void init() throws Exception {
		// TODO Auto-generated method stub
        //声明为Token Client
		ClusterStateManager.applyState(ClusterStateManager.CLUSTER_CLIENT);
		//加载集群限流Token Server 
		loadClusterClientConfig(); 
		//加载单机限流规则（如果Token Server不可用，退化到单机限流）
		initFlowRulesWithDatasource(); 
	}
	
	
	/**
	 * 集群限流规则
	 * */
	private void loadClusterClientConfig() {
		ClusterClientAssignConfig assignConfig  = new ClusterClientAssignConfig();
		assignConfig.setServerHost(CLUSTER_SERVER_HOST);
		assignConfig.setServerPort(CLUSTER_SERVER_PORT);
		ClusterClientConfigManager.applyNewAssignConfig(assignConfig);
		
		ClusterClientConfig clientConfig = new ClusterClientConfig();
		clientConfig.setRequestTimeout(REQUEST_TIME_OUT);
		ClusterClientConfigManager.applyNewConfig(clientConfig);
	}
	
	/**
	 * 单机限流规则
	 * */
	private void initFlowRulesWithDatasource() {  
		String dataId = APP_NAME + FLOW_POSTFIX;
//		ReadableDataSource<String, List<FlowRule>> readableDataSource = new NacosDataSource<>(
//				remoteAddress, groupId, dataId
//				,source->JSON.parseObject(source,new TypeReference<List<FlowRule>>() {}));
		ReadableDataSource<String, List<FlowRule>> readableDataSource = new NacosDataSource<>(
				remoteAddress, groupId, dataId, new Converter<String, List<FlowRule>>() { 
			@Override
			public List<FlowRule> convert(String source) {
				// TODO Auto-generated method stub
				System.out.println("source:"+source); 
				List<FlowRule> rules = JSON.parseObject(source,new TypeReference<List<FlowRule>>() {}); 
				return rules;
			}
		});    
		FlowRuleManager.register2Property(readableDataSource.getProperty());
	} 
	
}

Controller:

至此，Token Client配置完成。

接下来启动3个客户端，模拟集群：

 

 Sentinel-Dashboard上可以看到user-service有三台集群机器：

使用jmeter压测工具进行压测：

 压测结果如下，可以看到com.lee.demo.dubbo.demo.user.ISentinelService.testSentinel() 接口的qps一直不会超过6个请求，这个峰值是怎么计算的来的呢？因为我上面提到的Nacos集群限流配置dataId=user-service-flow-rules中配置com.lee.demo.dubbo.demo.user.ISentinelService的qps=2，而我们总共有3台机器，因此集群限流max qps：2x3=6

 至此，sentinel上线集群限流demo已完成，如有疑问请在评论区评论。

Demonor_
关注
Sentinel 集群限流的实现（上）
吴就业
09-22 1378
由于请求倾斜的存在，分发到集群中每个节点上的流量不可能均匀，所以单机限流无法实现精确的限制整个集群的整体流量，导致总流量没有到达阈值的情况下一些机器就开始限流。例如服务 A 部署了 3 个节点，规则配置限流阈值为 200qps，理想情况下集群的限流阈值为 600qps，而实际情况可能某个节点先到达 200qps，开始限流，而其它节点还只有 100qps，此时集群的 QPS 为 400qps。 Se...
面试官：Sentinel是如何实现限流的？
磊哥聊Java
02-04 946
本文内容已收录至我的面试网站：www.javacn.site限流是一种通过控制系统对外提供的资源、服务或接口的访问数量或速率，以保护系统免受过载的一种策略。“它的目的是确保系统能够在承受范围内提供稳定和可靠的服务，避免因过多的请求而导致系统崩溃、资源耗尽或响应延迟过高的情况发生。在 Sentinel 中，实现限流的方法有以下两种：通过代码方法实现限流。通过 Sentinel 控制台设置实现限流。1...
sentinel网关限流配置及使用
最新发布
爬到松树上的猪
07-15 819
快速失败可以设置Burst size，这是一个突刺个数，如果QPS设置为1，突刺数设置为10 ，当高并发请求时，首先能消耗的请求数是11个，超过11则拒绝，后续还是可通过一个请求。匀速排队可以设置等待时长毫秒，当高并发请求超过QPS时，进入等待状态，如果超过等待时长则拒绝。设置网关可以按照API分组设置，也可以设置app应用的总体限流。提供的关联流控和链路流控可以应用到一些特殊的业务场景的流控。可以通过代码设置规则，也可以通过控制台设置规则。一、网关限流配置及使用。3、控制台配置限流规则。
快速体验 Sentinel 集群限流功能，只需简单几步
weixin_34239169的博客
02-20 955
️ Pic by Alibaba Tech on Facebook 集群限流 可以限制某个资源调用在集群内的总 QPS，并且可以解决单机流量不均导致总的流控效果不佳的问题，是保障服务稳定性的利器。 Sentinel 从 1.4.0 版本开始提供集群流控特性，但使用 Sentinel 集群限流需要对一系列的动态数据源进行相关配置，并且需要...
Sentinel-集群限流
weixin_34192732的博客
05-24 1729
准备工作 基于sentine-1.4.2，在dashboard想要更好的查看集群限流相关配置，需要一些小修改 你也可以直接从github上拉取我的代码： git@github.com:spilledyear/Sentinel.git，对应的分支是 1.4.2 开启集群规则界面 修改：resources/app/views/flow_v1.html，将其中和集群相关的按钮打开，最终效果如下：...
sentinel 集群限流
weixin_43931625的博客
04-01 3529
sentinel 集群限流
sentinel集群限流
gb4215287的博客
03-16 1499
sentinel限流
Sentinel 实现网关限流(Spring-Gateway)
BASK2312的博客
11-25 911
我们通过Sentinel 和 Gateway 的整合，我们可以轻松的设置一个服务集群，或者多个服务的访问入口流量控制。此处只是简单的实现了错误信息的返回，对于自定义异常信息的处理，以及更多的生产复杂情况，我们更多的是和结合 Sentinel 本身提供的一些功能来响应实际问题，以及结合设计者的设计思想，我们可以通过修改源码或者在拓展点进行拓展来让 Sentinel 更好的服务于我们的生产。
Spring Cloud Alibaba Sentinel 限流实例
程序猿老王的博客
08-21 3867
什么是Sentinel Sentinel是阿里巴巴开源的分布式系统的流量防卫组件，Sentinel 把流量作为切入点，从流量控制，熔断降级，系统负载保护等多个维度保护服务的稳定性。 Sentinel 具有以下特征 丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游...
SpringCloud Gateway 使用 Sentinel 实现服务限流熔断
大雪冬至的博客
02-25 2453
1.介绍 Alibaba Sentinel 支持对 Spring Cloud Gateway、Netflix Zuul 等主流的 API Gateway 进行限流与熔断配置。 本文将介绍如何在 Spring Cloud Gateway 中使用 Alibaba Sentinel 进行限流配置，从而代替 Hystrix. 2.集成步骤 2.1. 首先需在Gateway网关模块引入以下依赖配置（以 Maven 为例）： 方案一: 只需引入 sentinel-spring-cloud-gateway
SpringCloud微服务之sentinel实现限流详细流程
空山新雨后，天气晚来秋
06-26 596
SpringCloud微服务之sentinel实现限流详细流程
Spring Cloud微服务Sentinel+Apollo限流、熔断实战
无敌码农
11-25 937
在Spring Cloud微服务体系中，由于限流熔断组件Hystrix开源版本不在维护，因此国内不少有类似需求的公司已经将眼光转向阿里开源的Sentinel框架。而以下要介绍的正是作者最近两个月的真实项目实践过程，这中间被不少网络Demo示例级别水文误导过，为了以正视听特将实践过程加以总结，希望能够帮到有类似需要的朋友！(PS：此文有点长，看下概念部分后可以点击在看+收藏，以备需要)一、Senti...
Sentinel 集群限流的实现（下）
吴就业
09-22 601
集群限流源码分析 集群限流，我们可以结合令牌桶算法去思考，服务端负责生产令牌，客户端向服务端申请令牌，客户端只有申请到令牌时才能将请求放行，否则拒绝请求。 集群限流也支持热点参数限流，而实现原理大致相同，所以关于热点参数的集群限流将留给大家自己去研究。 核心类介绍 sentinel-core 模块的 cluster 包下定义了实现集群限流功能的相关接口： TokenService：定义客户端向服...
【开源】Sentinel高性能高可用集群限流解决方案
跳小闹成长记
07-19 4207
Sentinel集群限流的高性能高可用解决方案。通过接入协调集群和实现容错策略解决其单点故障问题；支持动态集群限流，单节点可支撑千万业务流量；支持资源路由让Token Server节点资源能够得到充分的利用....
SpringBoot服务限流实现（集群）
AlbenXie的博客
07-17 604
a、令牌桶算法令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。当桶满时，新添加的令牌被丢弃或拒绝。b、漏桶算法其主要目的是控制数据注入到网络的速率，平滑网络上的突发流量，数据可以以任意速度流入到漏桶中。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。漏桶可以看作是一个带有常量服务时间的单服务器队列，如果漏桶为空，则不需要流出水滴，如果漏桶（包缓存）溢出，那么水滴会被溢出丢弃。...
sentinel限流_阿里开源限流组件 Sentinel 集群流控全解析
gb4215287的博客
03-16 445
sentinel
【微服务】—— Sentinel限流
weixin_57541178的博客
03-13 666
Sentinel限流
Sentinel实现动态配置的集群流控的方法
gb4215287的博客
03-16 1789
sentinel集群限流
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值