《异常检测——从经典算法到深度学习》3 基于One-Class SVM的异常检测算法

已于 2024-05-26 23:45:02 修改
阅读量1.3w 收藏 134
点赞数 19
分类专栏： 异常检测 文章标签： One-Class SVM 异常检测 1024程序员节
于 2020-05-26 16:52:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smileyan9/article/details/106351651
版权

《异常检测——从经典算法到深度学习》

相关：

3. 基于 One-Class SVM 的异常检测算法

此篇主要介绍以下内容：

  • One-Class SVM 算法概述
  • One-Class SVM 算法应用实例
  • 小结

3.1 One-Class SVM 算法概述

SVM (Support Vector Machines)： 支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。 —— 百度百科

One-Class SVM： One-Class SVM是一种无监督算法，它学习用于新颖性(novelty)检测的决策函数：将新数据分类为与训练集相似或不同的数据。参考论文

严格来说，One-Class SVM 不是一个异常点检测算法，而是一个新颖值检测(Novelty Detection)算法。换句话说，在One-Class SVM 将所以与正常数据有一定区别的都当成新颖数据，而我们根据实际需要设定边界，才认为超出边界的数据为异常数据。关于边界的问题，可以参考后面的例子。 —— sklearn官网相关介绍

One-Class SVM 算法与SVM算法的原理以及数学模型基本相同。总而言之就是寻找一个超平面，使用这个超平面把正常数据和异常数据（或称之为新颖数据）划分开，这是SVM算法的基本思想，而One-Class SVM 是基于一类数据（正常数据）求超平面，对 SVM 算法中求解负样本最大间隔目标进行改造，进而完成非监督学习下的异常检测。

One-Class SVM 算法特点：

  • 是一种非监督学习算法
  • 是一种基于正常数据的特征进行异常检测的算法，和正常数据特征相似的数据被认为是正常数据，否则则认为是异常数据
  • 比较适用于高维空间中的样本数据集

3.2 One-Class SVM 算法应用实例

来自 sklearn官网例子
实例1

from sklearn.svm import OneClassSVM
X = [[0], [0.44], [0.45], [0.46], [1]]
clf = OneClassSVM(gamma='auto').fit(X)
print(clf.predict(X))

clf.score_samples(X)

输出内容：

[-1  1  1  1 -1]
array([1.77987316, 2.05479873, 2.05560497, 2.05615569, 1.73328509])

实例2

print(__doc__)

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.font_manager
from sklearn import svm

xx, yy = np.meshgrid(np.linspace(-5, 5, 500), np.linspace(-5, 5, 500))
# Generate train data
X = 0.3 * np.random.randn(100, 2)
X_train = np.r_[X + 2, X - 2]
# Generate some regular novel observations
X = 0.3 * np.random.randn(20, 2)
X_test = np.r_[X + 2, X - 2]
# Generate some abnormal novel observations
X_outliers = np.random.uniform(low=-4, high=4, size=(20, 2))

# fit the model
clf = svm.OneClassSVM(nu=0.1, kernel="rbf", gamma=0.1)
clf.fit(X_train)
y_pred_train = clf.predict(X_train)
y_pred_test = clf.predict(X_test)
y_pred_outliers = clf.predict(X_outliers)
n_error_train = y_pred_train[y_pred_train == -1].size
n_error_test = y_pred_test[y_pred_test == -1].size
n_error_outliers = y_pred_outliers[y_pred_outliers == 1].size

# plot the line, the points, and the nearest vectors to the plane
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.title("Novelty Detection")
plt.contourf(xx, yy, Z, levels=np.linspace(Z.min(), 0, 7), cmap=plt.cm.PuBu)
a = plt.contour(xx, yy, Z, levels=[0], linewidths=2, colors='darkred')
plt.contourf(xx, yy, Z, levels=[0, Z.max()], colors='palevioletred')

s = 40
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white', s=s, edgecolors='k')
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='blueviolet', s=s,
                 edgecolors='k')
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='gold', s=s,
                edgecolors='k')
plt.axis('tight')
plt.xlim((-5, 5))
plt.ylim((-5, 5))
plt.legend([a.collections[0], b1, b2, c],
           ["learned frontier", "training observations",
            "new regular observations", "new abnormal observations"],
           loc="upper left",
           prop=matplotlib.font_manager.FontProperties(size=11))
plt.xlabel(
    "error train: %d/200 ; errors novel regular: %d/40 ; "
    "errors novel abnormal: %d/40"
    % (n_error_train, n_error_test, n_error_outliers))
plt.show()

输出图片如下（代码没有设置随机种子，所以可能每次运行都不一样）：
one-class-svm
注意查看图片下面的文字：

  • error train: 21/200 表示把模型认为训练集中有 21 个数据一异常数据。拿 实例1 中的数据来说，模型认为有两个为异常数据，因为有两个预测结果为 -1 。
  • errors noval regular 2/40: 新正常数据中预测错误数目。也就是代码中 第二次生成大小为40的数据集X中（即对应代码 X = 0.3*np.random.randn(20,2)），模型认为有两个数据为异常数据。
  • errors noval abnormal 0/40: 新异常数据预测错误数目。 也就是说在新生成的异常数据共40个中（即对应代码 X_outliers = np.random.uniform(low=-4, high=4, size=(20, 2)) ），完全预测正确，这些异常数据都被检测到了。

一些参数的使用请参考，sklearn官网文档

关于异常值检测(outlier detection)和新颖值检测(novelty detection)

在 基于LOF的异常检测算法 中解释了二者的差异，并且描述了 基于LOF算法应该如何进行新颖值检测，更加适合用作异常检测。而对于One-Class SVM算法来说，它本身就是设计用来做新颖值检测的，但是在某些条件下加上一些限制条件，也可以用来做异常检测。

一般需要考虑使用以下两种方式：

  1. 调整边界。如上面 实例2 输出图片所示，红色的圆环被认为是边界，这个是训练后由算法生成的，所以可以考虑修改算法参数，来改变边界的大小。(就sklearn的实现而言，即 kernel 和 gamma 这两个参数)
  2. 根据预测评分来设定异常。拿 实例1 来说，当输出对所有结果的打分的时候，可以考虑根据分数进行异常判定，比如说排序后，认为 前2% 可能是异常等等。

参考文档：
https://scikit-learn.org/stable/auto_examples/svm/plot_oneclass.html#sphx-glr-auto-examples-svm-plot-oneclass-py
https://scikit-learn.org/stable/modules/generated/sklearn.svm.OneClassSVM.html?highlight=one%20class%20svm#sklearn-svm-oneclasssvm
https://scikit-learn.org/stable/modules/outlier_detection.html#outlier-detection

3.3 小结

One-Class SVM 也是异常检测领域十分经典的算法。它认为和正常数据相似的（即被超平面分到一起）即是正常数据，和正常数据相差比较大的，则是异常数据。

对于高维空间中的样本数据集，One-Class SVM 能表现出更好的效果。

Smileyan
2020.5.26

感谢您的 点赞、 收藏、评论 与 关注

smile-yan
关注
  • 19
    点赞
  • 踩
  • 134
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
机器学习算法解析：单类支持向量机（One-Class SVM）
DeepViewInsight的博客
09-19 2589
单类支持向量机，简称One-Class SVM，是一种用于异常检测的监督学习算法。它的主要目标是找出数据集中的异常或罕见样本，而不需要大量的正常样本用于训练。这使得One-Class SVM在处理高维数据和非常稀疏的异常检测问题时非常有用。
单分类算法：One Class SVM
热门推荐
Rnan_prince的博客
07-15 2万+
安全检测常用算法有：Isolation Forest，One-Class Classification等，孤立森林参见另一篇，今天主要介绍One-Class Classification单分类算法。 一，单分类算法简介 　　One Class Learning 比较经典的算法是One-Class-SVM，这个算法的思路非常简单，就是寻找一个超平面将样本中的正例圈出来，预测就是用这个超平面做决策，在圈内的样本就认为是正样本。由于核函数计算比较耗时，在海量数据的场景用的并不多； 　　另一个算法是...
【异常检测】数据挖掘领域常用异常检测算法总结以及原理解析（一）
最新发布
LUyan10086的博客
05-30 2568
基于统计的异常检测方法主要依赖于统计学原理来识别数据中的异常值。这些方法通常假设数据遵循一定的统计分布，如正态分布等。基于正态分布，3sigma准则认为超过3sigma的数据为异常点。 如果数据处于均值加减三倍标准差之间，则认为是正常数据，否则，则认为是异常数据。Z-Score（标准分数）异常检测方法是通过测量数据点与数据集均值的偏差程度来识别异常数据的。这种方法假设数据大致遵循正态分布（也称为高斯分布）。在正态分布中，大多数数据点（约68%）位于均值的一个标准差内，约95%的数据位于两个标准差内，而几乎
异常检测算法中的One-Class SVM
牛肉胡辣汤
09-06 890
One-Class SVM是一种常用的异常检测算法，通过构建一个超平面将正常样本与异常样本分开。它具有无监督学习、适应多种类型异常数据以及鲁棒性强等优点。在网络安全等领域的应用中，One-Class SVM能够有效地发现异常数据，提高系统的安全性和稳定性。
基于蚁群算法改进One-Class SVM的电力离群用户检测算法研究
10-15
用电采集负荷数据反映了用户的用电特性及用电习惯，通过用电负荷数据分析识别用电离群用户。根据高维用电负荷数据的特点，提出了一种基于改进One-Class SVM算法的电力离群用户检测，同时采用蚁群算法对支持向量机的训练参数进行优化，可以在样本分布不均匀、样本分布未知的环境下有效识别电力离群用户。通过对某市纺织业用户的数据进行实践证明，改进的算法能够有效提高收敛速度，并能有效地识别出离群的用电用户。
异常检测第二篇：一分类SVM（OneClassSVM）
juanjuanyou的博客
12-04 9538
大家好，我是菜菜卷。 在上篇中，我们简要介绍了使用孤立森林（isolate forest）来进行无监督异常检测，在今天的内容中，我们将使用ocsvm(One Class SVM)来进行半监督异常检测,我们一起开始吧！~ 关于数据集的介绍和数据读入方向可以参考第一篇的详细介绍：异常检测之孤立森林（isolate forest） 什么是SVM（支持向量机） 熟悉机器学习的同学肯定对svm已经了如指掌了，下面我们就简要的说一下，SVM的目的就是使用一条“线”将两类或者多类的数据分隔开来，使其每一侧的数据都是同一类
【机器学习】收藏！14 种异常检测方法总结
fengdu78的博客
05-17 1373
作者丨Ai，来源丨宅码 编辑丨极市平台本文收集整理了公开网络上一些常见的异常检测方法（附资料来源和代码）。不足之处，还望批评指正。一、基于分布的方法1. 3sigma基于正态分布，3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadefthree_sigma(s): mu,std=np.mean(s),np.std(s) lower,upp...
基于机器学习和深度学习多方法的时序异常检测.zip
04-12
在本项目中，我们主要探讨的是利用机器学习和深度学习技术进行时序异常检测的方法。异常检测是一个重要的问题，尤其在大数据分析、监控系统、安全领域等应用中，能够及时发现异常行为对于预防潜在风险至关重要。这个...
基于机器学习的异常曲线检测内含数据集.zip
04-12
描述中提到的"异常检测算法"涵盖了多种方法，例如统计方法（如Z-Score、IQR）、机器学习模型（如Isolation Forest、One-Class SVM）以及深度学习模型（如Autoencoder、 LSTM）。这些方法各有优缺点，适用于不同的...
异常检测常用的方法及算法
03-14
基于统计：基于泊松分布、正态分布找到异常分布点。 　基于距离：K-means。 　基于密度：KNN、LOF（Local Outlier Factor）、隔离森 ...　一类支持向量机（One-Class SVM）。 　隐马尔可夫模型（HMM）。
基于AIOps的KPI异常检测.zip
04-12
2. 模型训练模块：异常检测算法可能包含监督学习模型（如SVM、决策树等）或无监督学习模型（如Isolation Forest、One-Class SVM等），也可能使用深度学习模型，如自编码器（Autoencoder）或者循环神经网络（RNN）。...
收藏！14 种异常检测方法总结
小白学视觉
03-22 543
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文收集整理了公开网络上一些常见的异常检测方法（附资料来源和代码）。不足之处，还望批评指正。一、基于分布的方法1. 3sigma基于正态分布，3sigma准则认为超过3sigma的数据为异常点。图1: 3sigmadefthree_sigma(s): mu,std=np.mean(s),np.std(s) ...
机器学习笔记 - 异常检测之OneClass SVM算法简述
学以致用 知行合一
12-03 225
但实际情况下数据都没有标签，因此很难定义正常还是不正常。异常检测的主要挑战如下：正常与异常行为之间的界限往往并不明确、不同的应用领域对异常的有意定义不同、数据可能存在噪声、异常行为的数据含有难以采集（样本量极少、训练时存在严重不平衡数据的问题）以及正常行为不会一成不变，会有不断发展变化的模式。 异常检测的算法非常多元，（1）图形方法：箱型图二。（2）统计方法：单变量/多变量高斯分布。（3）基于距离的方法。（4）基于密度的方法。（5）基于模型的方法：孤立森林、RNN等。
python one class svm_sklearn例程:OneClassSVM物种分布建模
weixin_39766109的博客
12-18 602
物种分布建模示例简介对物种的地理分布进行建模是保护生物学中的一个重要问题。在此示例中，根据过去的观察结果和14个环境变量，我们对两个南美哺乳动物的地理分布进行了建模。由于只有正例没有负例(没有不成功的观察结果)，不方便做具有显示正负例的有监督机器学习，因此我们将此问题转化为密度估计问题，并使用由packagebasemap绘制出了南美的海岸线和国界。示例中使用的2个物种是：“Microryzom...
十六、异常检测
dragon Fly的博客
04-20 6512
文章目录1、异常检测(Anormly Detection)介绍2、异常检测算法 1、异常检测(Anormly Detection)介绍 \qquad异常检测是指在给定的一组无标签数据集{x(1),x(2),...,x(m)}\{x(1), x(2),..., x(m)\}{x(1),x(2),...,x(m)}，针对这组数据集训练一个模型p(x)p(x)p(x)，来判定某个数据和数据集中大多数数据之间的相似程度(某个数据落在给定数据集中心区域的概率)，若某个数据xtestx_{test}xtest​和大多数
【机器学习】异常检测
noobiee的博客
10-28 8785
异常检测实际案例：网络安全中的攻击检测，金融交易欺诈检测，疾病侦测，和噪声数据过滤等。时间序列的异常又分为点异常和模式异常。对于一个新观测值进行判断： 离群点检测: 训练数据包含离群点,即远离其它内围点。离群点检测估计器会尝试拟合出训练数据中内围点聚集的区域, 会忽略有偏离的观测值。 新奇点检测: 训练数据未被离群点污染，我们对新观测值是否为离群点感兴趣。在这个语境下，离群点被认为是新奇点。 离群点检测 也被称之为 无监督异常检测; 而 新奇点检测 被称之为 半监督异常检测。 在离群点检
10分钟掌握异常检测
小白学视觉
01-02 269
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达异常检测(也称为离群点检测)是检测异常实例的任务，异常实例与常规实例非常不同。这些实例称为异常或离群值，而正常实例称为内部值。异常检测可用于多种应用，例如：① 欺诈识别② 检测制造中的缺陷产品③ 数据清理——在训练另一个模型之前从数据集中去除异常值。你可能已经注意到，一些不平衡分类的问题也经常使用异常检测算法来解决。例如，垃圾邮...
机器学习实验（九）：基于高斯分布和OneClassSVM的异常点检测
风雪夜归子
11-18 2万+
声明：版权所有，转载请联系作者并注明出处  http://blog.csdn.net/u013719780?viewmode=contents 大多数数据挖掘或数据工作中，异常点都会在数据的预处理过程中被认为是“噪音”而剔除，以避免其对总体数据评估和分析挖掘的影响。但某些情况下，如果数据工作的目标就是围绕异常点，那么这些异常点会成为数据工作的焦点。 数据集中的异常数据通常
oneclasssvm异常检测代码例子
05-31
以下是一个简单的 One-Class SVM 异常检测的 Python 代码示例： ```python from sklearn import svm import numpy as np # 创建一些随机数据作为训练样本 X_train = np.random.randn(100, 2) # 创建一个 One-Class SVM 模型并进行训练 clf = svm.OneClassSVM(nu=0.05, kernel="rbf", gamma=0.1) clf.fit(X_train) # 创建一些新数据作为测试样本 X_test = np.random.randn(10, 2) # 使用训练好的模型进行预测 y_pred = clf.predict(X_test) # 输出预测结果 print(y_pred) ``` 在上面的代码中，我们首先使用 `numpy` 库创建了一些随机的二维数据作为训练样本，然后创建了一个 One-Class SVM 模型并用训练数据进行训练。我们设置了 `nu` 参数为 0.05，表示模型应该将其中的 5% 的数据点识别为异常点。我们还使用了 RBF 核函数，并设置了 gamma 参数为 0.1。 接下来，我们创建了一些新数据作为测试样本，并使用训练好的模型进行预测。最后，我们输出了预测结果。预测结果是一个由 -1 和 1 组成的数组，其中 -1 表示对应的数据点被识别为异常点，1 表示对应的数据点不是异常点。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

smile-yan

感谢您的支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值