性能指标
1、F1分数
我们使用三个指标来评估所提出的系统的异常检测性能:精确度(Pr)、召回率(Re)和F1分数,分别定义如下。
其中TP表示正确检测到的异常数量,FP表示错误地将正常点识别为异常的数量,FN表示系统错过的异常数量。Pr代表系统正确区分异常的能力。较高的Pr意味着较少的误报,这减少了维护人员不必要的负担。Re越高,系统检测异常的能力越强,这对于指导设备维护计划的制定具有重要意义。Pr和Re这两个指标通常会出现矛盾。为了全面考虑这两个指标,我们使用F1分数作为系统整体性能的度量。
2、AUC
常用数据集
— SWaT (Secure Water Treatment)。SWaT是一个真实世界的工业水处理厂数据集,包含7天正常运行和4天攻击场景的数据。
— WADI (Water Distribution)。WADI是一个从SWaT测试平台扩展收集的水处理数据集,包含14天正常运行和2天攻击场景的数据。
— SMD (Server Machine Dataset)。SMD是一个来自大型互联网公司的5周数据集,包含由28台服务器收集的38个关键性能指标的多变量数据。
— SMAP (Soil Moisture Active Passive satellite)。SMAP是一个真实世界的公共数据集,包含55个实体,每个实体由25个指标监控。
— MSL (Mars Science Laboratory rover)。MSL是NASA的一个数据集,包含27个实体,每个实体由55个指标监控。
— KDD99。KDDCUP99数据集是一个经典的异常检测数据集,记录了网络攻击和正常连接。
点优化
许多算法,如OmniAnomaly和USAD,使用了Xu等人提出的点调整技巧来优化结果,即如果时间序列段中的至少一个点被检测为异常,则即使算法没有检测到它们,该段中的所有异常点也被视为正确检测。