2021李宏毅机器学习笔记--21 Anomaly Detection

摘要

异常侦测指的是事先有一个训练集，当输入与我们训练数据相似的x，则异常侦测的function（Anomaly Detector）就会告诉我们这是正常的数据；若输入与我们训练数据不相似的x，则异常侦测的function（Anomaly Detector）就会告诉我们这是异常的数据。这里的异常并不是指不好的结果，而是找出与训练集不一样的。那么异常侦测是如何工作的呢？当我们有大量的训练资料，且训练资料具有标注，我们可以训练一个分类器，然后就根据信心分数建立异常侦测的系统，若信心分数高于某个阀值（threshold）时就认为是正常，若低于某个阀值（threshold）时就认为是异常。
当我们只有大量的训练资料，但是没有label时，我们可以建立一个模型，根据这些训练资料，我们可以找出一个几率模型，这个模型可以告诉我们某一种行为发生的概率多大。如果有一个玩家的几率大于某一个阀值（threshold），我们就说他是正常的；如果几率小于某一个阀值（threshold），我们就说他是异常的。

一、问题描述

异常侦测的问题通常formulation成这样，假设我们现在有一堆训练数据$（x^1,x^2,...x^N）$（在这门课里面，我们通常用上标来表示一个完整的数据，用下标来表示一个完整数据的其中一部分）。我们现在要找到一个function，这个function要做的事情是：检测输入x的时，决定现在输入的x到底跟我们的训练数据是相似还是不相似的

我们之前说过：机器学习其实就是让机器找到一个function，在异常侦测里面我们要找的function是这样的。输入与我们训练数据相似的x，则异常侦测的function（Anomaly Detector）就会告诉我们这是正常的数据；若输入与我们训练数据不相似的x，则异常侦测的function（Anomaly Detector）就会告诉我们这是异常的数据。

我们一直再用Anoamly这个词汇，可能会让某些同学觉得机器在做Anoamly Detector都是要Detector不好的结果。因为异常这个词汇显然通常代表的是负面意思。其实Anoramly Detector这件事并不一定是找不好的结果，只是找跟训练数据不一样的数据。所以我们找出结果不见得是异常的数据，你会发现Anoamly Detector在不同的领域里面有不同名字。有时候我们会叫它为“outlier， novelty, exceprions”。

总之我们要找的是跟训练数据不一样的数据，有可能是特别好的，有可能是特别坏的。但至于什么叫做“像（similar）”，这就是Anoamly Detector需要探讨的问题。不同的方法就有不同的方式来定义什么叫做“像”、什么叫做“不像”。

二、Anomaly异常

这里我要强调一下什么叫做异常，机器到底要看到什么就是Anormaly。其实是取决你提供给机器什么样的训练数据。

假设你提供了很多的雷丘作为训练数据，皮卡丘就是异常的。若你提供了很多的皮卡丘作为训练数据，雷丘就是异常的。若你提供很多的宝可梦作为训练数据，这时数码宝贝就是异常的。

• 异常侦测有很多的应用，你可以应用到诈欺侦测（Fraud Detection）。训练数据是正常的刷卡行为，收集很多的交易记录，这些交易记录视为正常的交易行为，若今天有一笔新的交易记录，就可以用异常检测的技术来侦测这笔交易记录是否有盗刷的行为。（正常的交易金额比较小，频率比较低，若短时间内有非常多的高额消费，这可能是异常行为）
• 异常侦测还可以应用到网络系统的入侵侦测，训练数据是正常连线。若有一个新的连线，你希望用Anoramly Detection让机器自动决定这个新的连线是否为攻击行为。
• 异常侦测还可以应用到医疗（癌细胞的侦测），训练数据是正常细胞。若给一个新的细胞，让机器自动决定这个细胞是否为癌细胞

三、Anomaly Detection（异常侦测）做法

3.1 Binary Classification?(No！)

我们咋样去做异常侦测这件事呢？很直觉的想法就是：若我们现在可以收集到很多正常的资料$（x^1,x^2,...,x^N）$，我们可以收集到很多异常的资料$（{\tilde{x}}^1,{\tilde{x}}^2,...,{\tilde{x}}^N）$。我们可以将normal data当做一个Class（Class1），anomaly data当做另外一个Class（Class2）。我们已经学过了binary classification，这时只需要训练一个binary classifier，然后就结束了。

这个问题其实并没有那么简单，因为不太容易把异常侦测视为一个binary classification的问题。为什么这样说呢？

假设现在有一笔正常的训练数据是宝可梦，只要不是宝可梦就视为是异常的数据，这样不只是数码宝贝是异常数据，凉宫春日也是异常数据，茶壶也是异常的数据。不属于宝可梦的数据，不可能穷举所有不是宝可梦的数据。根本没有办法知道整个异常的数据（Class2）是咋样的，所以不应该将异常的数据视为一个类别，应为它的变化太大了。这是第一个不能将异常侦测视为