『ML笔记』Support Vector Domain Description(SVDD)支持向量数据域描述

• 想要深度理解可以参考这个论文链接

一、算法背景：

图片：算法描述

后来人们提出了一种想法，我在数据集上，画一个圆（超球体），使得这个圆尽可能小，但是又尽可能囊括多的数据点。 这就是典型的矛盾目标优化问题。因为圆尽可能小，就包的数据点就有可能会减少。同样想要包更多的点就需要一个更大的圆。那么针对这种问题，我们一般给出自己衡量目标的指标，然后写个目标函数优化就好了嗯。（PS：大部分算法的结果就在于这个目标函数写的好不好，如果目标函数是十分贴合实际的，往往就有比较好的算法效果）。 我们构造一个目标函数
$$\begin{array}{c}F\left(R,\vec{a},{\xi }_i\right)=R^2+C{\sum }_{i=1}^N{\xi }_i\\ \\ subjectto:\\ {\Vert \left({\vec{x}}_i-\vec{a}\right)\Vert }^2\le R^2+{\xi }_i\forall i,{\xi }_i\ge 0\end{array}\text{\hspace{1em}(1)}$$

注意：如果$C$取的很大，最小化目标函数的时候ξi会几乎接近为0，允许出错的样本越少，他就会尽量偏向于找一个圆囊括尽量多的点。如果$C$比较小，就偏向于找一个小的圆。

通过类似SVM的优化步骤，我们可以找到最优解。 类似SVM中的定义，落在超球体表明的点我们叫他Support Vector (SV) 支持向量。外部的叫做BSV。 下面是一个二维数据下的例子：

诶，人们发现圆是画出来了，但是有个问题，就是这个圆囊括了好多没用的地方，就是不够紧致（论文里面用的是tight），不能够贴切的描述整个数据的分布情况。

后来人们想到了高维空间。 大概的思路就是： 把原始的数据映射到高维空间，然后在高维空间中按照上述方法找一个超球体。然后把超球体逆映射到原始的数据空间。然后就可以得到一个轮廓 。通过之前的优化计算，和核函数代入，我们得到原始数据的一个点映射到高维空间后距离超球体圆心距离的公式：
$$\begin{array}{rl}R(\vec{x})& =\Vert \varphi (\vec{x})-\vec{\mu }\Vert \\ & =\sqrt{1-2\sum _{i=1}^N{\beta }_{i}K\left({\vec{x}}_i,\vec{x}\right)+\sum _{i,j=1}^N{\beta }_i{\beta }_{j}K\left({\vec{x}}_i,{\vec{x}}_j\right)}\end{array}\text{\hspace{1em}(2)}$$

传说中的核函数技术 ：把原始空间的数据映射到高维空间，然后再找一个超平面划分数据。 这里要明确一点： 核函数不是这个映射，核函数只是用来计算这个映射后的点的内积 。通过一个映射，原始数据从低维空间映射到高维空间。

二、公式推导：

图片：简单推导