论文笔记：Support Vector Method For Novelty Detection(Schölkopf)

笨牛慢耕

于 2021-10-21 14:38:55 发布

阅读量1.3k

点赞数 2

分类专栏：人工智能文章标签： OCSVM 异常检测支持向量机机器学习

本文链接：https://blog.csdn.net/chenxy_bwave/article/details/120885445

版权

人工智能专栏收录该内容

58 篇文章 50 订阅

订阅专栏

1. 概要

论文名直译过来就是：用于新颖性检测的支持向量方法

Schölkopf—OCSVM（其实这篇论文中并没有出现OCSVM，应该是后来被冠以了这个名称？以下简称为OCSVM）是要解决这样一个问题：给定一个遵循某一个概率分布P的数据集，找到一个输入空间的简单子集S，使得任意从P中采样的样点落在S之外的概率由一个位于(0,1)区间内的先验参数指定。

这个算法可以看作是传统的用于监督学习中的分类问题的支持向量机（SVM）算法向无监督学习的一个自然的扩展。

（从结果来看）OCSVM将所有（正常的）训练数据点与特征空间的原点通过特征空间的超平面分离开来，并且使得该超平面与原点的距离最大化(i.e. with maximum margin)。这就导致了一个二值函数This results in a binary function which captures regions in the input space where the probability density of the data lives. 当数据位于包含训练数据的一个小区域内时该函数返回“+1”，否则返回“-1”。

2. 数学模型

与经典的SVM一样，OCSVM的优化问题仍然是一个二次规划（quadratic programming）问题。其数学表述与传统的SVM的虽然略有不同，但是其相似点还是显而易见的。如下所示：

考虑训练数据 $x_1, x_2, ..., x_l \in \chi, l \in N$ ，为了简单起见，可以认为 $\chi \in R^N$ 表示训练数据集。考虑从训练数据集到一个点积（dot-product[注1]）特征空间的映射 $\Phi: \chi \sim F$ ，使得该映射的像空间的点积可以通过一个简单的核函数（kernel function）进行评估:

一个最常用的核函数是高斯核函数：

注意，如非特别指出，这里x,y等均指 $R^N$ 上的向量。不同的核函数就代表着输入空间上的不同的非线性转换估计算子。

基于以上铺垫，上述二次规划问题可以表述为：

(3)

对应的判决函数为：

$f(x)=sgn((\omega\cdot\Phi(x)) + \rho)$

(4)

其中 $\xi_i$ 表示松弛变量，代表目标函数中的惩罚项。 $\nu \in (0,1)$ 的含义参见下一节说明。

经过(Using Lagrange Technique)推导以上二次规划问题的对偶问题为：

基于以上对偶问题的解{ $\alpha_i$ }，并基于式(1)所定义的点积，可以得到判决函数可以转换称为以下形式（SV expansions）：

其中非零的 $\alpha_i$ 对应的样本数据 $x_i$ 称为支撑向量（SV：Support Vector）。

这个问题可以通过标准的二次规划流程（QP routine, Quadratic programming）来解，当然也可以利用它的约束条件的简单性，而采用SMO的一个变体来解决。

对于任何既不在上边界也不在下边界的 $\alpha_i$ ，它所对应的样本数据 $x_i$ 均满足：

这个性质可以用来计算ρ 。

[注1] A dot product is a very specific inner product that works on $R^N$ (or more generally $F^N$ , where F is a field) and refers to the inner product given by: $(V\cdot U)=\sum_{i=1}^{n}v_i\cdot u_i$ . 内积(inner product)是一个更广泛的概念，点积(dot-product)是内积一个特例