系统过载保护机制

最近我们组自己开发了一个过载保护服务，用来解决服务或者站点过载导致系统雪崩的问题，最近看了下底层实现，还是很有参考意义的，接下来介绍下过载保护的功能和原理。

一.过载保护的作用

我们这里开发的过载保护的主要目的是：避免服务中的某个接口调用堆积导致的整个服务不可用，这里调用堆积的原因可能有两个

1.某个接口的访问量突然增大，达到了平时高峰调用量的几倍乃至几十倍。产生的原因可能为产品加了个类似于秒杀活动的需求，在秒杀的一瞬间接口调用量激增。

2.由于某次上线对接口进行了改动，导致接口的执行时间从之前的10ms变成了50ms,虽然50ms的执行时间也算正常，但是如果某个调用方访问当前接口的量达到50次/秒，就会导致请求的堆积，因为当前服务接口只能支持20次/秒的调用。

我们知道，接口的每次调用一般都会是一个线程来处理，如果某个接口的调用激增或者因耗时较长导致阻塞，就会产生堆积，导致其他接口的请求也会随着堆积，影响了其他接口的正常调用，最后导致整个服务挂掉，这种情况是不可接受的。

举个例子，现在有一个接口A在调用别人的服务A，这个服务A由于自身原因访问全部超时了，那么这个接口A就会响应超时，如果调用方大量调用这个接口A，就会产生请求堆积，这时即使我们接口B（调用了服务B）的状态是正常的，也会受接口A超时的影响，最后导致整个服务不可用。

综上，我们的过载保护系统就是为了防止某个服务挂掉或者大量超时产生请求堆积，影响整个系统的产物。这在我们的代理服务(封装了大量别人的服务)里显得格外重要，因为代理服务里封装了大量别人的服务，不能因为某一个服务异常导致整个代理服务挂掉，影响了我们整个系统。

二.过载保护的实现原理

实现一个过载保护，主要是限制下当前接口的调用次数，即同一时刻，当前接口最大调用次数为N（N为我们自己设置的值），保证接口在同一时刻最大调用次数不超过N来实现过载保护。比如接口A大量超时导致请求堆积，但是由于我们加了过载保护，那么同一时刻最多只会有N个请求调用接口A，其他的请求我们将它抛弃掉，从而达到保护整个系统的作用。下面简单介绍下过载保护的实现原理

我们对加上了过载保护的接口都使用一个唯一标识作为key，可以简单理解为类名+方法名作为key(重载的先不考虑)，这样每个接口都有一个唯一的标识，我们使用一个变量count记录每个接口当前调用次数，和方法的唯一标识存到Map中。每次调用这个接口的时候，我们执行count+1,接口执行完之后执行count-1操作，以此来限制同一时刻当前接口的最大调用次数。这里我们可以使用一个代理或者拦截器来实现过载保护的功能，我们组开发的过载保护使用的是拦截器方式(并不一定是最好的)，在每个需要过载保护的接口调用前后加上一个拦截器，前置拦截器负责对当前接口key的count+1,后置拦截器对count-1,实现原理其实就这么简单。

如果当前接口的调用次数超过最大调用次数(扩容之后的)，那么在前置拦截器里直接抛出异常，超过过载保护限制，请求被拒绝。

具体实现上，我们使用了一个队列来实现过载保护，每次前置拦截的时候，我们入队一个对象，对象包括当前时间(用来做一些超时判断)，线程id等数据，后置拦截的时候执行出队操作，以此来实现count+1,-1的功能。

三.需要关注的问题

1.需要支持自动扩容，加入当前系统负载正常，各方面指标也正常，由于重启服务导致小量接口请求的堆积，而不是大量出现超时堆积的时候，我们应该支持这部分小量堆积的调用，而不是超过一点就抛弃，这里可以使用自动扩容机制，当发现请求数量达到最大限制N时，我们对N进行扩容，例如N*2，就可以处理那小部分对接的请求了，但是扩容需要有个上线，我们开发的是不能超过初始设置N的4倍，目前来看没有拦截掉正常堆积的请求，当出现大量超时时仍能起到过载保护的限制作用。

2.需要保证每个接口调用前"接口调用次数"+1，接口调用后"接口调用次数"-1的操作正确执行，否则会导致资源被浪费，即当前系统状态应该允许接口被执行却误触了过载保护机制，同时还要在丢弃前对count进行校验，比如当前count是否准确，是否存在接口已经执行结束，但是count没有-1的情况。

这就是我们为什么使用队列的一个原因之一，我们在每次丢弃请求之前，会校验下队列的头节点是否有效，是否超时等操作，如果头结点有异常，我们会丢弃头结点，请求继续入队，这样解决了如果有接口执行完，却没有执行出队时候的问题。

3.此外，我们还做了一些系统监控方面的工作，如果某个接口请求时间过长，我们会从队里获取线程id，打印出线程的信息到日志中。同时我们还监控了CPU,内存等核心数据，当发现CPU，内存等资源紧张的时候，我们不允许自动扩容，从而保护我们的系统。

四.过载保护可能带来的问题

性能消耗，前置后置拦截器，计数，扩容等等系列操作，都会对系统性能有一定影响，目前我们压测系统性能的时候发现过载保护会降低我们系统的性能瓶颈，去掉过载保护，qps还能增高不少。

总结：过载保护在系统中扮演着重要的角色，过载保护并不能提升我们的系统性能，只是为我们系统做了一个保障，避免因为异常导致系统整体不可用，当系统达到性能瓶颈时，拒绝一些请求从而保护我们的系统整体可用，是十分有必要的。