Anomaly Detection

背景

• 定义：找出异常（与训练资料相异 的data）
• 应用：欺诈检测、网络入侵检测、癌症检测
• 与二分类的区别：
  1. 异常数据不能被简单视为一类
  2. 难以获取异常数据

带标签异常检测

训练一个分类器，将置信度（分类最高分or crossentropy）与threshold 比较。
threshold的设定取决于f(x)在Dev dataset 上的表现

不带标签异常检测

• 基于分布
  得出数据分布p(x)，比较p($x_1$) 与 threshold 的大小判断是否为anomaly.
• 基于重构
  学习一个Auto-encoder，学习in-class重构能力，out-of-class 的重构效果自然很差，计算重构距离.
• One class SVM / Isolated Forest

Evaluation

Cost Table\AUC