【论文详读】Density weighted support vector data description

算法思想

初始SVDD

目标函数：
$$\begin{gathered} \min R^2+C\sum _{i=1}^l{\xi }_i \\ s.t.||{\mathbf{x}}_i-\mathbf{a}||\le R^2+{\xi }_i,{\xi }_i\ge 0{\forall }_i \end{gathered}$$
结合拉格朗日乘子法，原问题的对偶变成：
$$\begin{gathered} \max \sum _{i=1}^l{\alpha }_i(x_i,x_i)-\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j(x_i,x_j) \\ s.t.0\le {\alpha }_i\le Ci=1,2,\dots ,l \\ \sum _{i=1}^l{\alpha }_i=1 \end{gathered}$$
通过二次规划求解 ${\alpha }_i$ , 详细参考这篇文章，找出 ${\alpha }_i\ge 0$ , 即可得到支持向量，再根据支持向量就可以算出半径 $R$ 和 中心 $a$ ，这样就可以找到超球边界。

DW-SVDD

算法的思想是不仅为每个样本点设置松弛因子 ${\xi }_i$ ，而且还设置密度加权 ${\rho }_i$ 。其认为密度越大的地方，样本越重要，在拟合超球边界的时候，应该“贡献”更大。
密度权重：
$$\rho (x_i)=1-\frac{d(x_i,x_i^k)}{{\max }_{j\in trainset}d(x_j,x_j^k)}$$
这里用到了 k-nearest neighbor (k-NN) distance，$d(x_i,x_i^k)$ 表示$x_i$ 和第 $k$近的样本点 $x_i^k$的距离，${\max }_{j\in trainset}d(x_j,x_j^k)$ 表示在训练集中最大的k-NN距离。在密度较大的样本点 $\rho (x_i)$ 就越大，反之越小。

DW-SVDD的目标函数就变成：
$$\begin{gathered} \min R^2+C\sum _{i=1}^l\rho (x_i){\xi }_i \\ s.t.||{\mathbf{x}}_i-\mathbf{a}||\le R^2+{\xi }_i,{\xi }_i\ge 0{\forall }_i \end{gathered}$$

结合拉格朗日乘子法，原问题的对偶问题变为：
$$\begin{gathered} \max \sum _{i=1}^l{\alpha }_i(x_i,x_i)-\sum _{i=1}^l\sum _{j=1}^l{\alpha }_i{\alpha }_j(x_i,x_j) \\ s.t.0\le {\alpha }_i\le \rho (x_i)Ci=1,2,\dots ,l \\ \sum _{i=1}^l{\alpha }_i=1 \end{gathered}$$

不同点就是在二次规划求解 ${\alpha }_i$ 时，$G$ 有变化，之前时 $C$，现在是 $\rho (x_i)$ 。

疑问：在这个地方，我个人有问题，SVDD本身是要调节 $C$ 的，所以 $\rho (x_i)C$ 两个一起作用的时候，$\rho (x_i)$ 肯定是一定的，那么我们还是可以调节 $C$, 让 $C_1=\rho C_2$，使最后的效果是一样的，只是说法不同。

已解答：$C_1$ 和 $\mathbf{\rho }{C}_2$ 实际上肯定是不一样的，不然论文也不得发出来了😂。因为 $\mathbf{\rho }$ 是一个向量，对应每个 $x$ 都有一个 $\rho$，在某个取值时，可能$C_1=\rho (x_i)C_2$，也只会等于其中的某个或者某几个值，也不会全部相等，这体现出了考虑每个样本重要性的作用。

代码实现

1、计算每个样本点得权重