异常检测介绍

异常检测介绍

1.基于传统机器学习的异常检测

传统的机器学习方法主流的以LOF、HBOS、PCA、OCSVM、KNN等。市面上有已经集合了类似的框架，如下：

[Python] Python Outlier Detection (PyOD): PyOD is a comprehensive and scalable Python toolkit for detecting outlying objects in multivariate data. It contains more than 20 detection algorithms, including emerging deep learning models and outlier ensembles.

[Python] Python Streaming Anomaly Detection (PySAD): PySAD is a streaming anomaly detection framework in Python, which provides a complete set of tools for anomaly detection experiments. It currently contains more than 15 online anomaly detection algorithms and 2 different methods to integrate PyOD detectors to the streaming setting.

[Python] Scikit-learn Novelty and Outlier Detection. It supports some popular algorithms like LOF, Isolation Forest, and One-class SVM.

[Python] Scalable Unsupervised Outlier Detection (SUOD): SUOD (Scalable Unsupervised Outlier Detection) is an acceleration framework for large-scale unsupervised outlier detector training and prediction, on top of PyOD.

[Java] ELKI: Environment for Developing KDD-Applications Supported by Index-Structures: ELKI is an open source (AGPLv3) data mining software written in Java. The focus of ELKI is research in algorithms, with an emphasis on unsupervised methods in cluster analysis and outlier detection.

[Java] RapidMiner Anomaly Detection Extension: The Anomaly Detection Extension for RapidMiner comprises the most well know unsupervised anomaly detection algorithms, assigning individual anomaly scores to data rows of example sets. It allows you to find data, which is significantly different from the normal, without the need for the data being labeled.[Python] Python Outlier Detection (PyOD): PyOD is a comprehensive and scalable Python toolkit for detecting outlying objects in multivariate data. It contains more than 20 detection algorithms, including emerging deep learning models and outlier ensembles.

[Python] Python Streaming Anomaly Detection (PySAD): PySAD is a streaming anomaly detection framework in Python, which provides a complete set of tools for anomaly detection experiments. It currently contains more than 15 online anomaly detection algorithms and 2 different methods to integrate PyOD detectors to the streaming setting.

[Python] Scikit-learn Novelty and Outlier Detection. It supports some popular algorithms like LOF, Isolation Forest, and One-class SVM.

[Python] Scalable Unsupervised Outlier Detection (SUOD): SUOD (Scalable Unsupervised Outlier Detection) is an acceleration framework for large-scale unsupervised outlier detector training and prediction, on top of PyOD.

[Java] ELKI: Environment for Developing KDD-Applications Supported by Index-Structures: ELKI is an open source (AGPLv3) data mining software written in Java. The focus of ELKI is research in algorithms, with an emphasis on unsupervised methods in cluster analysis and outlier detection.

[Java] RapidMiner Anomaly Detection Extension: The Anomaly Detection Extension for RapidMiner comprises the most well know unsupervised anomaly detection algorithms, assigning individual anomaly scores to data rows of example sets. It allows you to find data, which is significantly different from the normal, without the need for the data being labeled.

2.基于深度学习的异常检测

2.1 Auto-encoder

​ Autoencoder，是一种无监督式学习模型。本质上它使用了一个神经网络来产生一个高维输入的低维表示。Autoencoder与主成分分析PCA类似，但是Autoencoder在使用非线性激活函数时克服了PCA线性的限制。

​

​ Autoencoder包含两个主要的部分，encoder（编码器）和 decoder（解码器）。Encoder的作用是用来发现给定数据的压缩表示，decoder是用来重建原始输入。在训练时，decoder 强迫 autoencoder 选择最有信息量的特征，最终保存在压缩表示中。最终压缩后的表示就在中间的coder层当中。在训练中，网络中的输出应与输入相同，即y=x，因此，一个自编码器的输入、输出应有相同的结构。

堆叠自编码器

​ 其核心思想就是先训练网络n→h_i→n，得到n→h_i的变换，然后再训练h_ (i-1)→h_ i→h_ (i-1)得到变换。最终堆叠成SAE，就如同下面的结果一样，整个过程就像一层层往上盖房子。

​ 以下图为例，原始数据的维度是10，encoder和decoder分别有两层，中间的coder共有3个节点，也就是说原始数据被降到了只有3维。Decoder根据降维后的数据再重建原始数据，重新得到10维的输出。从Input到Ouptut的这个过程中，autoencoder实际上也起到了降噪的作用。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HmfDl0uT-1627890285694)(/Users/lzy/Library/Application Support/typora-user-images/image-20210801152857790.png)]

​ 在无监督的情况下，我们没有异常样本用来学习，而算法的基本上假设是异常点服从不同的分布。根据正常数据训练出来的Autoencoder，能够将正常样本重建还原，但是却无法将异于正常分布的数据点较好地还原，基于AE的重构损失导致还原误差较大。

2.2 VAE（Variational AutoEncoder(VAE)）

接下来介绍一些VAE模型，对于VAE模型的基本思想，下面内容主要引用自我觉得讲得比较清楚的一篇知乎文章，并根据我的理解将文中一些地方进行修改，保留核心部分，这里假设读者知道判别模型与生成模型的相关概念。 原文地址：https://zhuanlan.zhihu.com/p/27865705

VAE 跟传统 AutoEncoder关系并不大，只是思想及架构上也有 Encoder 和 Decoder 两个结构而已。VAE 理论涉及到的主要背景知识包括：隐变量（Latent Variable Models）、变分推理（Variational Inference）、Reparameterization Trick 等等。即首先通过 Encoder 得到[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OlluSK30-1627890285700)(https://www.zhihu.com/equation?tex=x)]的隐变量分布参数；然后采样得到隐变量[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IpE0Rm7S-1627890285702)(https://www.zhihu.com/equation?tex=z)]。接下来按公式，应该是利用 Decoder 求得[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SoI5fxR7-1627890285703)(https://www.zhihu.com/equation?tex=x)]的分布参数，而实际中一般就直接利用隐变量恢复[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DTIfU4A1-1627890285705)(https://www.zhihu.com/equation?tex=x)]。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2ECRaN0T-1627890285709)(/Users/lzy/Library/Application Support/typora-user-images/image-20210801171333675.png)]

运用在网络流量中的效果：

在unsw-15的数据集中，我们对其表现进行一个汇总和对比

AE

流量	precision	recal	f1-socre
0	0.77	0.65	0.71
1	0.75	0.80	0.77

SAE

流量	precision	recal	f1-socre
0	0.75	0.71	0.73
1	0.77	0.81	0.79

VAE

流量	precision	recal	f1-socre
0	0.74	0.66	0.70
1	0.74	0.81	0.77

2.3 缺陷

从上诉的指标来看，无论是AE 、SAE 还是VAE，效果都差不了多少，因此基于AutoEncoder和VAE模型在工业界上的使用面临的最大问题是：

需要设置异常阈值。因为我们检测异常是通过对比重构后的结果与原始输入的差距，而这个差距多少就算是异常需要人为定义，然而对于大量的不同类型的数据，我们很难去统一设置阈值，这也是采用VAE模型比较大的一个缺陷。

参考文献

• Learning sparse representation with variational auto-encoder for anomaly detection
• Anomaly Detection with Robust Deep Autoencoders - KDD 2017.
• DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION - ICLR 2018.
• Generative Probabilistic Novelty Detection with Adversarial Autoencoders - NIPS 2018

2.4 gan

​ 采用gan网络中的生成器作为异常检测的模型来重构其分布，也是今年较为热门的点。关于gan网络的代表作主要有以下三篇。

• Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery - IPMI 2017.
• Efficient-GAN-Based Anomaly Detection ICLR Workshop 2018.
• Anomaly detection with generative adversarial networks - Reject by ICLR 2018, but was used as baseline method in recent published NIPS paper.

​ 市面上的文章主要都是对于图像的异常检测。那么我在本周重点是将第一篇的文章中提出的ganormal进行了改动。

​ 首先gan网络的大体思想是这样的。可以通过网络仅仅学习（正常数据）的数据分布，得到的模型G只能生成或者重建正常数据。使用测试样本输入训练好的模型G，如果G经过重建后输出和输入一样或者接近，表明测试的是正常数据，否则是异常数据。

​ 这篇文章对应的gan网络训练时，约束正常的数据编码得到潜在空间表示z1，和对z1解码、再编码得到的z2，差距不会特别大，理想应该是一样的。所以训练好后，用正常样本训练好的 G只能重建正常数据分布，一旦用于从未见过的异常样本编码、解码、再经历编码得到的潜在空间Z差距是大的。当两次编码得到的潜在空间差距大于一定阈值的时候，就判定样本是异常样本。

由于模型的是针对图片进行构建神经网络，因此我把他的模型卷积和反卷积，进行一层层的修改之后，可以适配网络流量模型。

卷积计算公式

反卷积计算公式：

阈值选择 mean（normal.mse） + 2* std （即训练集中的正常流量的mse的均值加上其2个标准差）

流量	precision	recal	f1-socre	条数
0	0.88	1	0.94	37000
1	0.91	0.06	0.12	5332