腾讯织云Metis异常检测原理刨析
Metis当前0.3.0版本开源的时间序列异常检测学件,是从机器学习的角度来解决时序数据的异常检测问题。
1. 基础介绍
1.1 表说明
目前Metis有为三张表:
- sample_dataset样本表,训练数据来源
- anomaly异常表,在量值检测、率值检测之后,把异常的数据写入此表
- train_task 训练任务表,记录训练生成的模型
1.2 数据集说明
进行时间序列异常检测是需要使用历史数据的。一般情况下可以选择历史14天的数据,或者历史一周的数据。或者选择其中的一个时间序列切片。
Metis里,当前检测时间窗口选取的是为3小时,每分钟1个数据点,即窗口值为180。数据集data_c,data_b,data_a, 代表的含义如下图的一周前、一天前、当天,对应数据库sample_dataset表的三个字段data_c,data_b,data_a:
需要说明的是Metis默认180窗口下,一个样本有903个数据点,即一周前:1(待判断点)+180+180,前一天1+180+180,当天1+180。