coursera-斯坦福-机器学习-吴恩达-第9周笔记（上）-异常检测

coursera-斯坦福-机器学习-吴恩达-第9周笔记（上）-异常检测

1异常检测

异常检测(Anomaly detection)问题 是机器学习算法 的一个常见应用， 这种算法的一个有趣之处在于 ：它虽然主要用于 非监督学习问题 ，但从某些角度看 它又类似于一些监督学习问题 。

1.1引入

那么 什么是异常检测呢？

为了解释这个概念 ，让我举一个例子吧： 假想你是一个 飞机引擎制造商， 当你生产的飞机引擎 从生产线上流出时 你需要进行 QA (质量控制测试)， 而作为这个测试的一部分 你测量了飞机引擎的一些特征变量 ，比如 你可能测量了 引擎运转时产生的热量， 或者引擎的振动等等 。采集这些特征变量 这样一来 你就有了一个数据集 ，从x(1)到x(m)， 如果你生产了m个引擎的话 也许你会将这些数据绘制成图表。

后来有一天 ，你有一个新的飞机引擎 从生产线上流出，而你的新飞机引擎 有特征变量x-test 。所谓的异常检测问题就是 我们希望知道， 这个新的飞机引擎是否有某种异常。

感性来理解一下，如图：
[外链图片转存失败(img-UloIKveG-1566960752411)(http://oqy7bjehk.bkt.clouddn.com/17-12-20/54867750.jpg)]

这些样本点 有很大的概率值 落在 在中心区域。
而稍微远离中心区域的点概率会小一些 ，
更远的地方的点 它们的概率将更小， 这外面的点 和这外面的点 将成为异常点 。

而这些圈是可以用一个概率模型P(x)来衡量的，我们的异常检测算法就是找到这样一个概率模型画出这个圈。

异常检测算法有很多用途，比如：

1. 欺诈检测：把用户的使用习惯设为特征，若很反常有可能为欺诈。
2. 制造业：产品的质量控制（QA）。
3. 数据中心的计算监控：监控cpu、内存等的使用情况是否又反常。

1.2高斯（正态）分布

异常检测的数学基础：高斯（正态）分布。是数理统计中的知识，话说线性代数与数理统计这两门课真的是有用啊。

所谓样本x服从高斯分布（x~N），就是x出现的概率（或者说发生x事件的概率）满足这样一个公式：$p(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$

所以这是一个概率公式。他的图像如下：以均值为中心，方差为宽度。

[外链图片转存失败(img-jgnyWPtk-1566960752412)(http://oqy7bjehk.bkt.clouddn.com/17-12-20/16635067.jpg)]

其中均值与方差的计算方法如下：

[外链图片转存失败(img-QuCFjh7Z-1566960752413)(http://oqy7bjehk.bkt.clouddn.com/17-12-20/83336523.jpg)]

有了均值与方差的计算方法，就有了参数估计这一名词。就是：给你了一些样本值，你可以求出他们的均值与方差，然后用这两个参数估计总体样本的分布。

第二个比较重要的数学知识就是独立分布的概率，等于概率的乘积。
[外链图片转存失败(img-TPbaUhlp-1566960752415)(http://oqy7bjehk.bkt.clouddn.com/17-12-20/74782642.jpg)]

1.3异常检测算法❤❤❤

这一节给出了异常检测的步骤，对于给出的样本 { x ( 1 ) , . . . , x ( m ) } \{x^{(1)},..., x^{(m)}\} { x(1),...,x(m)}：

1. 选出一些重要的特征，比如：$x_j^{(i)}$表示第i个样本的第j个特征，比如发动机温度。
2. 计算各个特征的均值与方差： μ j = 1 m ∑ i = 1 m x j ( i ) ,   σ j 2 = 1 m ∑ i = 1 m ( x j ( i ) − μ j ) 2 \displaystyle \mu_j = \frac{1}{m}\sum_{i=1}^m x_j^{(i)},\ \sigma_j^2 = \frac{1}{m}\sum_{i=1}^m(x_j^{(i)} - \mu_j)^2 μ