软间隔正规化处理线性不可分情况(Regularization and non-separable case)

Regularization and non-separable case

引言：在去掉了数据必定是线性可分这一条件后，为了实现最优间隔分类，我们引入了软间隔正规化来解决这一问题。正规化后引入了松弛变量和问题也变为“软间隔”，可推导其对偶问题和KKT补充条件。

我们关于SVM的推导一直基于线性可分这一基本条件。尽管将数据映射到高维特征空间可以大大增加线性可分的可能性，我们依然不能保证数据一定是线性可分的。即便是线性可分的数据集，有时我们依然无法得到令人满意的分割超平面。这是因为当前的模型对异常值很敏感。如下图所示，原先的分割平面是红色的实线，加入一个异常值后，平面旋转成了黑色的虚线，而在这一过程中整体样本的几何间隔大大减小。

为了让模型不在对异常值如此敏感同时也可以划分不可分情形，我们重构了优化模型，引入了松弛变量（使用$\ell_1-regularization$）:

$$\begin{align} \min_{\gamma,\omega,b}\quad&\frac{1}{2}\Vert\omega\Vert^2+C\sum_{i=1}^m\xi_i\\ s.t.\quad &y^{(i)}(\omega^Tx+b)\ge1-\xi_i,\ i=1,2,\ldots,m\\ &\xi_i\ge0,\ i=1,\ldots,m. \end{align}$$

重构之后我们的模型将允许样本的几何间隔小于1，同时对那些几何间隔为$1-\xi_i$的点，目标函数会付出增长$C\xi_i$的代价。参数$C$控制平衡两个目标——减小$\Vert\omega\Vert^2$和保证尽可能多的样本几何间隔大于1——实现程度的相关系数。

---

随后我们可以写出模型的拉格朗日方程：

$$\mathcal{L}(\omega,b,\xi,\alpha,r)=\frac{1}{2}\omega^T\omega+C\sum_{i=1}^m\xi_i-\sum_{i=1}^m\alpha_i[y^{(1)}(x^T\omega+b)-1+\xi_i]-\sum_{i=1}^mr_i\xi_i.$$

其中$\alpha_i,r_i$是拉格朗日乘子，将$\mathcal{L}$对$\omega,b,\xi,r$求偏导数并令偏导为0，将得到的公式回到进方程即可求得方程的对偶形式：

$$\begin{align} \max_\alpha\ &W(\alpha)=\sum_{i=1}^m\alpha_i-\frac{1}{2}\sum_{i,j=1}^my^{(i)}y^{(j)}\alpha_i\alpha_j\langle x^{(i)},x^{(j)}\rangle\\ s.t.\ &0\le\alpha\le C,\ i=1,\ldots,m\\ &\sum_{i=1}^m\alpha_iy^{(i)}=0, \end{align}$$

通过对偶问题我们将以将$\omega$用$\alpha$表示，经过$\ell_1$正规化后唯一的变化就是约束由$0\le\alpha_i$变为$0\le\alpha_i\le C$。$b^*$的结果需要重新计算，想了解的可以去查看Platt的paper。

由KTT得到的对偶补充条件有：

$$\begin{align} \alpha_i=0\quad\Rightarrow\quad y^{(i)}(\omega^Tx^{(i)}+b)\ge1\qquad(14)\\ \alpha_i=C\quad\Rightarrow\quad y^{(i)}(\omega^Tx^{(i)}+b)\le1\qquad(15)\\ 0\le\alpha_i\le C\quad\Rightarrow\quad y^{(i)}(\omega^Tx^{(i)}+b)=1\qquad(16)\\ \end{align}$$

现在我们的问题就只剩下如何求解对偶问题了。

参考文献：
[1]. Andrew Ng, Machine Learning [M/CD] Stanford University