分布式系统弹性设计之限流策略

在当今互联网技术蓬勃发展的背景下，分布式系统以其高可用性、可扩展性和容错性等特点，成为构建大型复杂应用的主流架构选择。

然而，随着用户数量的增长和业务规模的扩大，分布式系统面临的一个重要挑战是如何在突发流量或恶意攻击下保持稳定运行，防止服务过载导致响应延迟甚至系统崩溃。解决这一问题的关键手段之一便是实施有效的限流策略。

限流策略的基本原理

限流，顾名思义，是指对系统资源的使用施加一定的限制，以确保在高负载情况下，系统的处理能力不会被超出其承受范围的请求所压垮。

这种限制通常表现为对单位时间内允许通过的请求数量设定阈值，当请求速率超过该阈值时，系统会采取措施拒绝部分请求或延迟处理，从而维持系统的稳定运行。

限流的核心目标是保护系统内部关键组件（如数据库、缓存、微服务等）免受过载冲击，同时保证大部分用户的请求能够得到及时且合理的响应。

常见限流策略及应用场景

固定窗口限流

原理

固定窗口限流是最基础的限流策略之一，它将时间划分为固定长度的窗口（如1秒），每个窗口内允许通过的请求数量有固定的上限。每当新的请求到达时，系统检查当前窗口内的请求数量是否已达到阈值，若是，则拒绝请求；否则，接受请求并递增计数。

应用场景

适用于请求量相对均匀且对响应延迟不敏感的服务，如日志收集、后台统计分析等。固定窗口限流简单易实现，但可能存在“突刺”现象，即窗口切换瞬间可能出现大量请求瞬间涌入，对系统造成短暂冲击。

代码案例

Guava RateLimiter：Google Guava库提供的RateLimiter类实现了令牌桶算法，但可以通过设置SmoothBursty模式模拟固定窗口限流的效果。以下是一个简单的使用示例：

import com.google.common.util.concurrent.RateLimiter;

public class FixedWindowRateLimiter {
    private final RateLimiter rateLimiter = RateLimiter.create(1.0); // 每秒允许一个请求

    public void handleRequest() {
        if (!rateLimiter.tryAcquire()) {
            System.out.println("Request rejected due to rate limit");
            return;
        }
        // 处理请求逻辑...
        System.out.println("Request processed successfully");
    }

    public static void main(String[] args) {
        FixedWindowRateLimiter limiter = new FixedWindowRateLimiter();
        for (int i = 0; i < 5; i++) {
            limiter.handleRequest();
        }
    }
}

滑动窗口限流

原理

滑动窗口限流是对固定窗口限流的改进，它同样设定一个时间窗口，但窗口是连续滑动的，每个请求都会落入一个时间窗口内。系统累计最近一段时间（如1秒内）的所有窗口的请求数量，当累计请求数超过阈值时，拒绝后续请求。

应用场景

滑动窗口限流能平滑处理请求流量，避免固定窗口限流中的“突刺”问题，适用于对请求速率波动较大、需要更精细控制的服务，如实时交易、用户登录等高并发场景。

代码案例

import com.google.common.util.concurrent.RateLimiter;

import java.time.Duration;
import java.time.Instant;
import java.util.concurrent.atomic.AtomicInteger;

public class SlidingWindowRateLimiter {
    private final RateLimiter rateLimiter;
    private final Duration windowSize;
    private final AtomicInteger counter;
    private volatile Instant windowStartTimestamp;

    public SlidingWindowRateLimiter(double permitsPerSecond, Duration windowSize) {
        this.rateLimiter = RateLimiter.create(permitsPerSecond);
        this.windowSize = windowSize;
        this.counter = new AtomicInteger();
        this.windowStartTimestamp = Instant.now();
    }

    /**
     * Attempts to acquire a permit for the current request within the sliding window.
     * Returns true if the request is allowed, false otherwise.
     */
    public boolean tryAcquire() {
        Instant now = Instant.now();

        // Slide the window if necessary
        if (now.minus(windowSize).isAfter(windowStartTimestamp)) {
            resetWindow(now);
        }

        // Try to acquire a permit from Guava's RateLimiter
        if (rateLimiter.tryAcquire()) {
            counter.incrementAndGet();
            return true;
        } else {
            return false;
        }
    }

    private void resetWindow(Instant now) {
        windowStartTimestamp = now;
        counter.set(0);
    }

    /**
     * Returns the number of requests allowed within the current sliding window.
     */
    public int getNumRequestsInCurrentWindow() {
        return counter.get();
    }
}

漏桶限流

原理

漏桶算法同样使用一个虚拟的“桶”，但桶的流出速率（即处理请求的速率）是恒定的，而流入速率（即请求到达的速率）可能变化。无论流入速率如何，系统均以固定速率处理请求，多余的请求要么排队等待，要么直接拒绝，确保系统的处理速率始终保持稳定。

应用场景

漏桶限流适用于需要严格控制处理速率、保证公平性的场景，如网络传输、API调用速率限制等。它能平滑输出流量，防止突发请求对后端服务造成冲击。

代码案例

Resilience4j RateLimiter：Resilience4j库提供了RateLimiter组件，支持漏桶限流。以下是一个使用示例：

import io.github.resilience4j.ratelimiter.RateLimiter;
import io.github.resilience4j.ratelimiter.RateLimiterConfig;
import io.github.resilience4j.ratelimiter.RateLimiterRegistry;

public class LeakyBucketRateLimiter {
    private final RateLimiter rateLimiter;

    public LeakyBucketRateLimiter(int permitsPerSecond) {
        RateLimiterConfig config = RateLimiterConfig.custom()
                .limitForPeriod(permitsPerSecond)
                .limitRefreshPeriod(Duration.ofSeconds(1))
                .timeoutDuration(Duration.ZERO) // 不允许请求排队
                .build();

        RateLimiterRegistry registry = RateLimiterRegistry.of(config);
        this.rateLimiter = registry.rateLimiter("leaky_bucket");
    }

    public void handleRequest() {
        if (!rateLimiter.acquirePermission()) {
            System.out.println("Request rejected due to rate limit");
            return;
        }
        // 处理请求逻辑...
        System.out.println("Request processed successfully");
    }

    public static void main(String[] args) {
        LeakyBucketRateLimiter limiter = new LeakyBucketRateLimiter(2);
    // 每秒处理两个请求
        for (int i = 0; i < 9; i++) {
            limiter.handleRequest();
        }
    }
}

总结

限流策略是保障分布式系统高可用性的重要手段之一。

通过合理运用固定窗口限流、滑动窗口限流、令牌桶限流和漏桶限流等策略，系统能够在面对突发流量、恶意攻击等压力时，有效保护关键资源，避免服务过载，确保大部分用户请求得到及时响应。

结合业务特性和系统架构选择并适时调整限流策略，是提升分布式系统整体稳定性和用户体验的关键步骤。在设计和运维分布式系统时，充分理解和灵活运用这些限流技术，将有助于构建健壮、可靠且高度可用的大型分布式应用程序。