参考美团的一篇类似文章。
1. 形变分析
对时间序列两次处理归一形成形变量集合,通过形变量计算不同等级告警阈值。
2. 模型适用范围
有规律(有周期、有趋势)的时间序列,可以使用傅立叶变换确定曲线的短周期。
1. 归一化互相关公式:相似度越高说明曲线形状越相似。可用余弦相似性;
2. 形变量计算公式。
3. 基于形变分析的异常检测步骤
3.1 确定时间序列是否有规律
因为形变分析模型的使用范围是有规律的时间序列,所以需要确定节假日与工作日的差异性,进行归类。
3.2 选择基准线
基准线更加关注预测出的形状,而非具体数值。这个基准线可以使用周同比数据,也可以通过预测算法进行预测。
3.3 基准形变量计算
根据基准线与真实数据通过两次处理,去除时间、形状、量级等因素影响,将时间序列归一化到一个基准上,通过形变量计算得到基准形变量,为之后异常判定,等级设定做准备。
两次处理:
1. 针对形状或时间的处理
通过真实数值与基线数值进行归一化互相关计算,计算出一个新的时间序列。其中归一化互相关计算可以使用余弦相关性,将每一个点归一到[0,1]区间上,从而去除了形状或时间的影响。
3.4 异常判断
通过聚类根据基准形变量自动设定不同等级的告警阈值,并结合人工反馈是否敏感等信息进行自动修正。
基于形变量分析的异常检测主要流程