SVM/LDM 中的一个优美的证明（个人觉得）

前言：

在读周志华的Large Margin Distribution Machine一文时看到的。
下面先简单回顾SVM，然后直接讲LDM，接着说看到的那个证明。其实也没啥。。

一言以蔽之，给定IID分布训练集S，SVM的假设函数是一个线性模型$f(x)=w^T\phi(x)$ 当然，这里的线性是一个广义的说法，也就是考虑了kernel的。(1)式给出函数间隔。

硬间隔SVM

软间隔SVM

(2)式可以改写成下式，其中$\gamma_0$看成是mean of the margin吧。。

SVM可以视作LDM的特殊情况，因为LDM要求maximize margin mean&minimize margin variance

目标函数就成了下面（同样有软硬间隔）：

软间隔展开成(6)，也就是目标函数了：

然后要证明一个定理：最佳系数向量$w^*$可由$X$或者$\phi(x_i)$线性表出

证明方法很巧妙，类似一种反证法的思想，值得学习，这里直接贴了：