机器学习面试必知：SVM回归的泛化

从 机器学习面试必知：SVM和LR的关系 一文中,我们可以看到SVM相比于LR的优势在于能产生稀疏解。现在把SVM应用到回归问题中，同时保持它的稀疏性。在简单的线性回归模型中，我们最小化一个正则化的误差函数$$\frac{1}{2}\sum _{n=1}^N(y_n-t_n{)}^2+\frac{\lambda }{2}||w|{|}^2$$为了得到稀疏解，二次误差函数被替换成一个$ϵ$不敏感误差函数。如果预测$y(x)$与目标$t$之间的差的绝对值小于$ϵ$，那么这个误差函数给出的误差为0。$$E_{ϵ}(y(x)-t)=\{\begin{array}{c}0,if|y(x)-t|<ϵ\\ |y(x)-t|-ϵ,otherwise\end{array}$$于是我们最小正则化的误差函数$$C\sum _{n=1}^N{E}_{ϵ}(y(x_n)-t_n)+\frac{1}{2}||w|{|}^2$$为了有更好的泛化能力，我们引入松弛变量${\xi }_n\ge 0$和$\widetilde{{\xi }_n}\ge 0$分别代表上界和下界。

从图中可以看到，${\xi }_n>0$对应的是$t_n>y(x_n)+ϵ$数据点，$\widetilde{{\xi }_n}>0$对应的是$t_n<y(x_n)-ϵ$数据点，而位于管道内的点$y_n-ϵ\le t_n\le y_n+ϵ$所以$$t_n\le y(x_n)+ϵ+{\xi }_n$$$$t_n\ge y(x_n)-ϵ-\widetilde{{\xi }_n}$$相应地支持向量回归的误差函数可以写成$$C\sum _{n=1}^N({\xi }_n+\widetilde{{\xi }_n})+\frac{1}{2}||w|{|}^2$$我们引入拉格朗日乘数$a_n\ge 0$，$\widetilde{a_n}\ge 0$，$u_n\ge 0$和$\widetilde{u_n}\ge 0$，然后最优化拉格朗日函数$$L=C\sum _{n=1}^N({\xi }_n+\widetilde{{\xi }_n})+\frac{1}{2}||w|{|}^2-\sum _{n=1}^N{u}_n{\xi }_n-\sum _{n=1}^N\widetilde{u_n}\widetilde{{\xi }_n}-\sum _{n=1}^N{a}_n(y(x_n)+ϵ+{\xi }_n-t_n)-\sum _{n=1}^N\widetilde{a_n}(-y(x_n)+ϵ+\widetilde{{\xi }_n}+t_n)$$$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{n=1}^N(a_n-\widetilde{a_n})\varphi (x_n)$$$$\frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{n=1}^N(a_n-\widetilde{a_n})$$$$\frac{\partial L}{\partial {\xi }_n}=0\Rightarrow a_n+u_n=C$$$$\frac{\partial L}{\partial \widetilde{{\xi }_n}}=0\Rightarrow \widetilde{a_n}+\widetilde{u_n}=C$$把这些结果代入到L中得到$$\tilde{L}(a,\tilde{a})=-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N(a_n-\widetilde{a_n})(a_m-\widetilde{a_m})K(x_n,x_m)-ϵ\sum _{n=1}^N(a_n+\widetilde{a_n})+\sum _{n=1}^N(a_n-\widetilde{a_n})t_n$$同样地我们得到了限制条件$$0\le a_n\le C$$$$0\le \widetilde{a_n}\le C$$对应的KKT条件等于零的情况如下$$a_n(y(x_n)+ϵ+{\xi }_n-t_n)=0$$$$\widetilde{a_n}(-y(x_n)+ϵ+\widetilde{{\xi }_n}+t_n)=0$$$$(C-a_n){\xi }_n=0$$$$(C-\widetilde{a_n})\widetilde{{\xi }_n}=0$$分析上述的等式我们可以得到些有用的结果。如果$y(x_n)+ϵ+{\xi }_n-t_n=0$,那么$a_n̸=0$，进一步的，如果$a_n=C$也就是${\xi }_n>0$此时数据点位于上边界的上方，如果${\xi }_n=0$那么数据点位于管道的上边界上。同理可以分析$-y(x_n)+ϵ+\widetilde{{\xi }_n}+t_n=0$。
我们已经得到了$$y(x)=\sum _{n=1}^N(a_n-\widetilde{a_n})K(x_n,x)+b$$现在寻找支持向量也就是有贡献的数据点即$a_n̸=0$或者$\widetilde{a_n}̸=0$的点。这些数据点位于管道边界上或者管道外部，管道内部的点有$a_n=\widetilde{a_n}=0$。更一般地，我们使用前文的分析用满足$0<a_n<C$,此时${\xi }_n=0$,$y(x_n)+b+ϵ+{\xi }_n-t_n=0$,那么$$b=-w^T\varphi (x_n)-ϵ+t_n$$或者用$0<\widetilde{a_n}<C$的数据点去求解b。当然更好的方法对所有符合条件的情况取平均。