L2-SVM(双正则SVM)的对偶形式求解过程

最新推荐文章于 2021-02-13 16:33:45 发布

剑客无名

最新推荐文章于 2021-02-13 16:33:45 发布

阅读量2.7k

点赞数 7

分类专栏：机器学习文章标签： SVM

本文链接：https://blog.csdn.net/qq_33764934/article/details/89186374

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.众所周知，L2-SVM是SVM的改进算法之一，本人最近在对L2-SVM进行核化操作的时候对其dual形式进行了推导。

L2-SVM算法如下:

(1)

$\xi _{i}$ ∈(1,2,........n)

首先先把上述算法转化为L2-SVM的拉格朗日乘子式L:

$max L=\frac{1}{2} w^{T}w+\frac{C}{2}\sum_{i=1}^{n}\xi_{i}^{2}-\sum_{i=1}^{n}\alpha_{i} [y_{i}(w^{T}x_{i}+b)-1+\xi_{i}]\cdot \cdot \cdot \cdot \cdot \cdot \cdot \cdot (2)$

其中 $\sum_{i=1}^{n}\alpha_{i} [y_{i}(w^{T}x_{i}+b)-1+\xi_{i}]$ ，为L2-SVM的约束条件，而原L1-SVM中的 $\xi_{i}$ >0的约束条件，因为上述L2-SVM算法中的 $\xi_{i}^{2}$ 的存在而不要求其大于0.至于为什么在第二项的系数取 $\frac{C}{2}$ 的原因是为了便于求导的时候方便，看个人喜好也可以取。

下面我们开始分别在L上对, , $\xi _{i}$ 求偏导并分别令（3），（4），（5）等于0：

$\frac{\alpha L}{\alpha w}=w^{T}-\sum_{i=1}^{n}\alpha _{i}y_{i}x{i}=0\cdot \cdot \cdot \cdot \cdot \cdot (3)$

，所以有 $w=\sum_{i=1}^{n}\alpha _{i}y_{i}x{i}$ 。

$\frac{\alpha L}{\alpha b}=-\sum_{i=1}^{n}\alpha _{i}y_{i}=0\cdot \cdot \cdot \cdot \cdot \cdot (4)$

，所以有 $\sum_{i=1}^{n}\alpha _{i}y_{i}=0$ 。

$\frac{\alpha L}{\alpha \xi_{i}}=C\xi_{i}-\alpha_{i}=0\cdot \cdot \cdot \cdot \cdot \cdot (5)$

，所以有 $\xi_{i}=\frac{\alpha_{i}}{C}$ 或者 $C=\frac{\alpha_{i}}{\xi_{i}}$ 。

把求得的 $w=\sum_{i=1}^{n}\alpha _{i}y_{i}x{i}$ ， $\sum_{i=1}^{n}\alpha _{i}y_{i}=0$ 以及(5)式代入L中，依次推导过程如下:

$max L = \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}x_{j}+\frac{C}{2}\sum_{i=1}^{n}\xi_{i}^{2}-\sum_{i=1}^{n}\alpha_{i}y_{i}(\sum_{j=1}^{n}\alpha_{j}y_{j}x_{j})x_{i}-\sum_{i=1}^{n}\alpha_{i}y_{i}b+\sum_{i=1}^{n}\alpha_{i}-\sum_{i=1}^{n}\alpha_{i}\xi_{i}$ (6)

可知 $\sum_{i=1}^{n}\alpha _{i}y_{i}b$ 为0，且第一项与第三项只是系数不一样，所以有：

$max L = -\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}x_{j}+\frac{C}{2}\sum_{i=1}^{n}\xi_{i}^{2}+\sum_{i=1}^{n}\alpha_{i}-\sum_{i=1}^{n}\alpha_{i}\xi_{i}$ (7)

因为 $\xi_{i}=\frac{\alpha_{i}}{C}$ ,把其代入（7）式，且转为min L

$min L = \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}x_{j}+\frac{1}{2C}\sum_{i=1}^{n}\alpha_{i}^{2}-\sum_{i=1}^{n}\alpha_{i}$ (8)

$\sum_{i=1}^{n}\alpha_{i}^{2}$ 可以看成 $\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}$ , 但是只当i=j时成立，否则 $\alpha_{i}\alpha_{j}=0$ ,可以把其看成是一个对角矩阵,只有对角元素才有值，非对角元素全为0,所以最终的对偶形式为:

$min L = \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}(\alpha_{i}\alpha_{j}y_{i}y_{j}x_{i}x_{j}+\frac{1}{C}\alpha_{i}\alpha_{j}E)-\sum_{i=1}^{n}\alpha_{i}$

$min L = \frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}(\alpha_{i}(y_{i}y_{j}x_{i}x_{j}+\frac{1}{C}\delta_{ij})\alpha_{j})-\sum_{i=1}^{n}\alpha_{i}$ ，且 $\delta_{ij}=\left\{\begin{matrix} 1 , i=j& \\ 0,i\neq j & \end{matrix}\right.$ (9)