支持向量机（3）

以上两节讨论的都是线性可分的数据集，都是线性不可分的情况，上述模型不能解决。例如有一些离群点，将这些离群点除去后，剩下的大部分数据集是线性可分的。

这时线性不可分意味着部分样本点不能满足函数间隔大于等于1的约束条件，则可以对每个样本点加入一个松弛变量$\xi_i$，使得函数间隔加上松弛变量大于等于1，这样约束条件变为：

$$y_i(w\cdot x_i+b)+\xi_i \ge 1$$ ,而放松限制条件后，我们需要重新调整目标函数，以对离群点进行处罚，于是目标函数变为 $$\frac{1}{2}||w||^2+C\sum_{i=1}^N\xi_i$$ ,C为惩罚参数，一般根据问题确定。加入惩罚项 $C\sum_{i=1}^N\xi_i$之后离群点越多，目标函数会变大，所以它使得离群点不至于过多，另外C值越大即对误分类的点惩罚越大，也就是越不希望看到离群点。因此目标函数控制了离群点的数目和程度，使大部分样本点仍然遵守限制条件。则新的模型如下：
$$\begin{align} & \min_{w,b} \ \frac{1}{2}||w||^2 +C\sum_{i=1}^N\xi_i\\ &\\ &\ y_i(w \cdot x_i+b)+\xi_i \ge 1 \\ &\xi_i\ge 0 \qquad i=1,2,\cdots,N\\ \end{align}$$
和上一节类似，以上问题为原始问题，依然可以通过求解对偶问题来求解原始问题。对偶问题的求解步骤依然是：

• 
  
• 建立拉格朗日函数
  $L(w,b,\xi,\alpha,\beta)=\frac{1}{2}||w||^2 +C\sum_{i=1}^N\xi_i-\sum_{i=1}^N\alpha_i[y_i(w \cdot x_i+b)+\xi_i - 1]-\sum_{i=1}^N\beta_i\xi_i$

• 对拉格朗日函数求极大极小问题，先看作是变量$w,b$的函数，分别对其求偏导，得到$w,b$的表达式。然后代入拉格朗日函数中，得到一个对$\alpha$求极大。具体推导过程可以参看支持向量机（2）
  这里直接列出最后推导结果：
  

  $$\begin{align} & \min_{\alpha} \ \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i \\ &\\ & \sum_{i=1}^N\alpha_iy_i=0\\ & C\ge\alpha_i \ge 0 \qquad i=1,2,\cdots,N\\ \end{align}$$
  可以发现，这里的模型与之前线性可分的模型仅仅在条件上多了一个$C \ge \alpha_i$,而且没有了惩罚因子$\xi_i$,于是我们同样可以求得一个最优解$\alpha^*=(\alpha_1^*,\alpha_2^*,\cdots,\alpha_N^*)$,再根据KKT条件，可以转化为最优$w^*,b^*$.KKT条件如下：
  $$\begin{align} &\nabla_wL(w^*,b^*,\xi^*,\alpha^*,\beta^*)=w^*-\sum_{i=1}^N\alpha_i^*y_ix_i=0\\ &\nabla_bL(w^*,b^*,\xi^*,\alpha^*,\beta^*)=\sum_{i=1}^N\alpha_i^*y_i=0\\ &\nabla_\xi L(w^*,b^*,\xi^*,\alpha^*,\beta^*)=C-\alpha^*-\beta^*=0\\ &\alpha_i^*[y_i(w^* \cdot x_i+b)+\xi_i^* - 1]=0\\ &\beta_i^*\xi_i^*=0\\ &\alpha_i^* \ge 0\\ &y_i(w^* \cdot x_i+b)+\xi_i^* - 1 \ge 0\\ &\beta_i^* \ge 0\\ &\xi_i^* \ge 0\\ &i=1,2,\cdots,N\\ \end{align}$$
  则$w^*=\sum_{i=1}^N\alpha_i^*y_ix_i$
  对于$\alpha$,有三种情况：

• $\alpha=0$,则$\beta^*=C>0,\xi_i^*=0$,则$y_i(w^* \cdot x_i+b) \ge 1$

• $0\lt \alpha\lt C$,则$\beta^*>0,\xi_i^*=0，y_i(w^* \cdot x_i+b)+\xi_i^* - 1=0$，则$y_i(w^* \cdot x_i+b) = 1$
• $\alpha=C$,则$y_i(w^* \cdot x_i+b)+\xi_i^* - 1=0,\xi_i^* \ge 0$，则$y_i(w^* \cdot x_i+b) \le 1$
  

以上表明在两条间隔线外的样本点前面的系数为0，离群样本点前面的系数为C，而支持向量（也就是在超平面两边的最大间隔线上）的样本点前面系数在(0,C)上。通过KKT条件可知，某些在最大间隔线上的样本点也不是支持向量，相反也可能是离群点。
因此若存在$0\lt \alpha_i^*\lt C$,则$y_i(w^* \cdot x_i+b) = 1$,可以求得$b^*$