异常检测个人notebook

最近一个月研究了下异常检测，因为之前没有任何机器学习的相关知识，所以难免有错误的地方，望指出，有困惑的地方也用Q标出来了。再提一句，轲磊推荐的周志华写的机器学习的确不错，新人能对机器学习有一个大体的框架。

异常检测通常有两个用途，一是单纯地检测异常点，可能需要对异常点的可解释性（具体什么方面的异常），不同类型的数据的处理方式不同；二是为了找出后排除异常点，用于更好的训练模型，增强泛化性。异常检测和聚类时常是一体的，两者近年来出现了非常多的方法，常用的就有十多种，本文按照赵越博士pdf里（具体可查看他们开发的PYOD异常检测工具包）提到的说明一下常用的方法和使用范围。

对于二维的数据，可以简单用3个方差或者选择Q1和Q3之间百分之五十的方法检测异常，如果是对时间段的异常检测，用ESD去寻找。

对于高维大量数据，如果已经明确了只需要检测部分特征的相关异常，那么同样可以用低维的方式去处理，但是如果想直接在高纬度中找异常点（比如说，需要一个自动异常检测机，输入数据就可以得到异常的数据），就需要其他的办法。

第一种非常容易想到的办法是根据距离找异常点，我们知道异常点在空间分布上离其他点很远，所以先定义点与点在高维的距离，这个常用欧式距离或者曼哈顿距离。k邻近就是用一个点到离它最近的第k个点的距离来测量异常值，而由此衍生的LOF在此基础上求了平均距离，因此表示了与周围点的密度关系。很显然，我们需要知道任意两个点的距离，假设有m个数据，n个维度（下同），时间复杂度将会达到O（m^2*n)，当m达到上万级别的时候ÿ