我们不一样！告诉你百度是如何做智能流量异常检测的

作者简介

牧之    百度云高级研发工程师

负责百度云Noah智能异常检测算法相关工作，在自动异常检测、智能故障诊断等方向有广泛的实践经验。

干货概览

流量，是系统的黄金指标之一，它直观反映系统的运行状态。健康的系统流量通常平稳波动变化，当流量突然上涨或者下降时可能预示系统中存在故障。例如系统的外部网络链路出现故障时，外部用户的访问流量无法到达我们的系统，流量会出现突降异常。当系统模块出现问题无法响应用户的请求时，此时的流量同样会出现突降异常。除了导致流量突降类的故障，当系统被爬虫爬取或者攻击时，流量会出现突升异常。所以流量的突升、突降常常表示系统中发生了某种故障或者异常行为。因此，流量异常检测对发现系统故障、维护系统的稳定性十分重要，它也成为了AIOps智能运维中的一个典型场景问题。

今天我们将从流量异常检测难点入手，分析常见流量检测方法存在的问题，然后重点介绍百度云智能运维产品（Noah）所使用的一类智能异常检测算法，基于鲁棒回归与泊松分布的流量异常检测算法。文章最后也附上了百度云Noah智能异常检测算法试用申请地址，欢迎大家试用。

流量异常检测的难点

流量异常检测主要有以下三个难点：

1. 流量的大小会随着用户行为发生变化。对于大部分百度云上的业务，白天的访问流量较高，深夜的访问流量较低。这使得流量水位值存在上下文相关性，白天水位高，夜晚水位低，不断波动变化。这就需要算法能够区分流量的正常波动变化与异常波动变化，准确的检测异常流量。

2. 对于所有百度云上用户而言，运维工程师关心系统本身的故障，需要及时检测到流量的突降异常，而安全工程师关心攻击、抓取和爬虫，更多地关心流量是否存在突升异常。这就要求算法有能力区分当前流量的异常类型，精准地给出流量的预测值。

3. 流量也会受到业务逻辑调整的影响，流量水位会出现上涨或者下跌后不恢复的现象。需要算法能够及时适应这种变化，否则就会导致持续的误报。