百度智能监控系统的过载保护实践

作者简介

姜泽    百度高级运维工程师

负责百度智能运维产品（Noah）的运维工作，在可用性建设，容量管理方面有着丰富的实践经验。

干货概览

对于容量管理，在之前的文章《聊聊时序数据存储系统的容量管理》中，我们已经对容量建模和容量规划做了探讨。本文将继续跟大家介绍容量管理中最为重要的一环——过载保护部分的内容。

在高并发、海量数据存储场景下，系统过载的案例并不少见。一旦系统过载，通常无法使用常用的双集群主备切换预案立即止损，同时，集群过载很有可能产生流量雪崩现象，造成实例、机器批量假死或宕机，恢复成本巨大。所以我们需要通过一定的过载保护手段，保证系统在容量承载能力下最大限度的为用户提供服务。下面将给出系统过载保护的通用方案，以及在Noah平台智能监控系统的流式计算－时序数据存储（下文以Astream-TSDB指代）中的应用实践。

过载保护的通用解决方案

1识别过载流量来源

过载流量来源通常意义上可以分为自然流量上涨和人为触发的流量上涨。自然流量上涨指的是由于业务量增长带来的可预期的系统流量。这类流量过载可以通过系统的弹性扩缩容解决，并且可以通过更科学的、更合理的容量规划得以规避。人为触发的流量来源可以细分为攻击性流量（比如DDOS攻击）和用户行为导致的非预期流量。无论哪一种流量来源，在后台都应该可以通过运维数据找到来源IP。在实际生产场景下，不同的业务都应该有自己定义好的业务数据模型，比如在Noah监控中，每个请求都必须带有自己的产品线（Product）、集群（Cluster）、服务单元（Namespace）等信息。这些数据为识别流量来源提供重要依据，同时也是做多租户配额管理的基础。

2设置流量阈值

根据上一篇文章中的容量建模方法，可以合理的根据容量数据给出实例/系统的流量阈值。容量阈值的管理可以放在配置中心以方便随时调整。

3采取合理的过载保护措施

过载保护的手段通常有限流和降级两种。限流指系统只允许阈值之下的流量通过，而对于超出阈值的流量不额外消耗资源处理，直接丢弃。降级指系统通过“业务剪枝”的手段，丢弃非重要功能或非重要流量来源的处理，保证核心功能不受影响、核心流量稳定处理。

从过载保护策略生效层级上来说，又可分为单实例级别和全局级别。单实例级别的过载保护策略只在单机单实例上做过载保护，其流量数据统计通常受负载均衡和流量局部波动的影响较大，不利于微小异常的过滤；相比之下，全局策略对此类情况处理起来更有优势，但全局策略势必会带来额外的开销和系统设计难度，具体使用哪一种，需要结合业务的实际情况具体问题具体分析。

Astream-TSDB场景下过载保护实践

1过载场景描述