流量异常检测

流量异常检测面临上下文相关性、异常类型区分和业务逻辑调整的挑战。预测方法包括移动平均和线性回归,后者因异常点放大影响而调整损失函数。检测则涉及残差和相对残差,但不同系统需要不同阈值。为解决此问题,提出了基于泊松分布的建模方法,用正态分布近似简化计算。
摘要由CSDN通过智能技术生成

https://mp.weixin.qq.com/s/9h-hOt630W6k077Rupc9CA
流量异常检测主要有以下三个难点

  1. 流量的大小会随着用户行为发生变化。对于大部分百度云上的业务,白天的访问流量较高,深夜的访问流量较低。这使得流量水位值存在上下文相关性,白天水位高,夜晚水位低,不断波动变化。这就需要算法能够区分流量的正常波动变化与异常波动变化,准确的检测异常流量。
  2. 对于所有百度云上用户而言,运维工程师关心系统本身的故障,需要及时检测到流量的突降异常,而安全工程师关心攻击、抓取和爬虫,更多地关心流量是否存在突升异常。这就要求算法有能力区分当前流量的异常类型,精准地给出流量的预测值。
  3. 流量也会受到业务逻辑调整的影响,流量水位会出现上涨或者下跌后不恢复的现象。需要算法能够及时适应这种变化,否则就会导致持续的误报。

在这里插入图片描述

预测

移动平均算法使用当前窗口内w个数据的均值作为窗口内最后一个点的预测值,即在这里插入图片描述

线性回归的方法预测流量值
对于窗口内n个数据点使用最小二乘法来最小化损失函数在这里插入图片描述
由于线性回归的损失函数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值