应对过载- go-zero源码阅读

运维一个可靠的系统 一个根本要就是能够优雅的处理过载的情况。

CPU资源的不足导致的负载上升是我们工作中最常见的，如果CPU资源不足以应对请求负载，一般来说所有的请求都会变慢，CPU负载过高会造成一系列的副作用，主要包括以下几项：

• 正在处理的(in-flight) 的请求数量上升

• 服务器逐渐将请求队列填满，意味着延迟上升，同时队列会用更多的内存

• 线程卡住，无法处理请求

• cpu死锁或者请求卡主

• rpc服务调用超时

• cpu的缓存效率下降

应对服务器过载几种常见的策略：

• 服务降级
  返回精度降低的回复，或者省略回复中需要经过大量计算的数据；
  例如 ：平时整个文档中进行搜索，在过载的情况下只搜索文档中的一小部分
• 服务端拒绝请求
• 客户端主动拒绝请求

一  资源利用率信号

在多数情况下，资源利用率仅仅是只当前cpu的消耗程度，在某些情况下也会考虑内存的使用情况。

当某个请求突然大批短时请求时，会导致负载的短时急剧上升。可以使用指数型衰变算法（exponential dacay）来平滑这个值。

go-zero案例：

go-zero种cpu的统计代码位于core/stat/internal中，通过获取linux系统的中/proc/stat提供的就是系统的CPU等的任务统计信息来计算cpu的使用率。
cpu统计代码会 没间隔250ms获取一次cpu的使用率，并且每一分钟打印一次cpu的使用率。

const (
	// 250ms and 0.95 as beta will count the average cpu load for past 5 seconds
	cpuRefreshInterval = time.Millisecond * 250
	allRefreshInterval = time.Minute
	// moving average beta hyperparameter
	beta = 0.95
)

func init() {
	go func() {
		cpuTicker := time.NewTicker(cpuRefreshInterval)
		defer cpuTicker.Stop()
		allTicker := time.NewTicker(allRefreshInterval)
		defer allTicker.Stop()

		for {
			select {
			case <-cpuTicker.C:
				threading.RunSafe(func() {
					curUsage := internal.RefreshCpu()
					prevUsage := atomic.LoadInt64(&cpuUsage)
					// cpu = cpuᵗ⁻¹ * beta + cpuᵗ * (1 - beta)
                    //指数衰变算法 
					usage := int64(float64(prevUsage)*beta + float64(curUsage)*(1-beta))
					atomic.StoreInt64(&cpuUsage, usage)
				})
			case <-allTicker.C:
				printUsage()
			}
		}
	}()
}

二 服务端过载保护

go-zero中内置的过载保护代码位于/core/load/adaptiveshedder.go

sholdDrop用来检测是否符合触发过载保护条件，代码入下

func (as *adaptiveShedder) shouldDrop() bool {
	if as.systemOverloaded() || as.stillHot() {
		if as.highThru() {
			flying := atomic.LoadInt64(&as.flying)
			as.avgFlyingLock.Lock()
			avgFlying := as.avgFlying
			as.avgFlyingLock.Unlock()
			msg := fmt.Sprintf(
				"dropreq, cpu: %d, maxPass: %d, minRt: %.2f, hot: %t, flying: %d, avgFlying: %.2f",
				stat.CpuUsage(), as.maxPass(), as.minRt(), as.stillHot(), flying, avgFlying)
			logx.Error(msg)
			stat.Report(msg)
			return true
		}
	}

	return false
}

as.systemOverloaded() 方法判断当前cpu是否达到阈值，默认90%。
as.stillHot() 判断是否在冷却期。
as.highThru()判断仍是高吞吐。
如果触发过载保护，会返回过载错误信息，并记录错误日志。