论文笔记：Support vector domain description(Tax,Duin1999)

最新推荐文章于 2022-09-29 18:44:37 发布

笨牛慢耕

最新推荐文章于 2022-09-29 18:44:37 发布

阅读量1.3k

点赞数 3

分类专栏：人工智能文章标签：机器学习 SVDD 异常检测新颖检测核函数

本文链接：https://blog.csdn.net/chenxy_bwave/article/details/120906276

版权

人工智能专栏收录该内容

58 篇文章 50 订阅

订阅专栏

1. 概要

2. 数学模型

3. 引入核函数

4. Experiment and Analysis

1. 概要

Ref: David M.J. Tax, Robert P.W. Duin, Support vector domain description, PRL1999

SVDD直译过来就是（基于）支持向量（的数据）域描述。

相对于Schölkopf-OCSVM中的（超）平面分割的方法,Tax-Din-SVDD采用了利用特征空间中的（超）球进行分割的. 在Tax-Din-SVDD中，算法对训练样本进行估计得到一个超球包含所有训练样点，并最小化该超球的体积。

2. 数学模型

考虑由N个样本数据构成的训练数据集 $\chi = \{x_1,x_2,...,x_N\}$ ,目标是找到一个体积最小的超球包括所有（或绝大多数）数据样点。这个超球的体积对于处于最外围的样本非常敏感，如果很少量的样本处于很远的外围，要想把所有数据都包含超球内的话可能会需要非常大的超球。为了解决这个问题，（类似于(Vapnik, 1995)）我们引入松弛变量 $\xi_i$ 以及惩罚参数C，允许一定的训练样本处于超球之外（即判定为异常样本），以取得模型的简单性（对应于超球的体积）与错误数（位于超球以外的样本个数）之间的折中（trade-off）.这是假定原本训练集中所有的样本都属于本类。如果训练集中本身就包含一定的异类数据的话，那这个就不单纯是折中了，而是必需项。

由于半径R和球心a所定义的超球的体积定义如下：

约束条件下最小化超球体积的问题可以表述如下：

基于(1)和(2)，引入拉格朗日乘子 $\alpha_i \geq 0, \gamma \geq 0$ ,构造拉格朗日量（Lagrangian）如下：

求偏微分并令其为0，可以得到：

将(4)代入并重写(3)可以得到：

问题转变成了求 $\alpha_i$ 使得L最大化的问题。

由以上(4)可知，球心是训练样本的线性组合。

式(2)仅对小一部分数据样本成立，这些数据样本是位于超球的边界，其对应的拉格朗日乘子 $\alpha_i$ 大于0.这些数据样本被称之为支持向量（support vector），也只有这些样本对于超球（也就是说这个训练集）的描述是必需的。

超球半径R由中心到某支持向量的（基于小于C的权重计算而得的）距离决定。

对于 $\alpha_i = C$ 的样本触及了式(4)的上界，并且位于超球以外，这些样本被判定为异常样本。

一个测试数据样本z与球心的距离小于等于R的样本处于超球以内，被判定为本类点，如下式所示；反之则被称为是异类（outlier）点。

3. 引入核函数

以上基本模型中，所有处理都是在输入空间上进行。通常来说，数据样本并不会如此理想地形成一个球形分布，即便忽略掉最外围的一些异类点。因此直接在输入空间上进行处理通常不能得到很紧凑的数据描述。

由于以上模型的核心就在于内积 $(x_i\cdot x_j)$ 的计算，因此这个模型可以通过用核函数来替换内积的运算得到扩展，即用核函数 $K(x_i,x_j)$ 替换内积计算 $(x_i\cdot x_j)=(x_i - x_j)^T(x_i - x_j)$ ，只要这个核函数满足Mercer’s theorem.这一替换等价于将输入数据映射到某个特征空间（map from input space onto feature space），如果特征空间的选择(即核函数的选择)适当的话，就可以得到一个更好、更紧凑的数据描述。这一映射并不需要显式地进行，一切都包含在核函数 $K(x_i,x_j)$ 的表达中。