手推支持向量机SVM——Ⅰ

支持向量机的原理

  首先，我们要知道，SVM是一个二分类模型，当然我们能够用它实现多分类，但一个SVM本质上就只是一个二分类模型，它的原理就是找到一个超平面（在二维中就是一条直线）既能有效区分两个类别又能使得两个类别到该超平面的几何距离最大。
  什么意思呢，看下面的图：

  该图中有很明显的两个类别，能够区分开这两个类别的直线有很多条（图中的三条直线都可以），SVM要做的就是找到离两个类别的距离最远的那一条，即图中的红色直线。
  目前共有三种SVM算法：

• Hard-margin SVM 硬间隔SVM
• Soft-margin SVM 软间隔SVM
• Kernel SVM 带核函数的SVM

  下面就一一进行讲解。

Hard-margin SVM

  我们通常说的SVM都指的是Hard-margin SVM，其中的hard表示的是不允许误差，这是有别于sotf-margin的一点，后面再详细讲解。
  首先，我们将SVM分类器定义为：
$$\{\begin{array}{l}{w}^T{x}_i+b>0,y_i=1\\ w^T{x}_i+b<0,y_i=-1\end{array}$$
  其中，$w^T{x}_i+b$为我们找到的直线，则直线上方为正类即$y_i=1$，直线下方为负类即$y_i=-1$。
  不难看出上式等价于：
$$y_i(w^T{x}_i+b)>0$$
  样本中的点到直线的最小距离为：
$$margin=mindistance(w,b,x_i)$$
  代入点到直线的距离公式，得：
$$margin=min\frac{1}{||w|{|}_2}\bullet |w^T{x}_i+b|$$
  其中$||w|{|}_2$为L2范数。
$$||w|{|}_2=\sqrt{w_1^2+w_2^2+...+w_n^2}$$
  然后hard-margin SVM的目标就是使该最小距离最大化，即：
$$\{\begin{array}{l}maxmin\frac{1}{||w|{|}_2}\bullet |w^T{x}_i+b|\\ y_i(w^T{x}_i+b)>0\end{array}$$
  由$y_i\in \left\{\begin{array}{c}-1,1\end{array}\right\}$且与$w^T{x}_i+b$同号，因此我们可以去掉绝对值符号。得：
$$\{\begin{array}{l}maxmin\frac{1}{||w|{|}_2}\bullet y_i(w^T{x}_i+b)\\ y_i(w^T{x}_i+b)>0\end{array}$$
  将常数项提出来，得：
$$\{\begin{array}{l}max\frac{1}{||w|{|}_2}min{y}_i(w^T{x}_i+b)\\ y_i(w^T{x}_i+b)>0\end{array}$$
  由$y_i(w^T{x}_i+b)>0$可知，一定存在$r>1$，使得$min{y}_i(w^T{x}_i+b)=r$，令$r=1$，则上式变为：
$$\{\begin{array}{l}max\frac{1}{||w|{|}_2}\\ min{y}_i(w^T{x}_i+b)=1\end{array}$$
=>$$\{\begin{array}{l}max\frac{1}{||w|{|}_2}\\ min{y}_i(w^T{x}_i+b)=1\end{array}$$
  将max问题转换为min问题：
$$\{\begin{array}{l}min\frac{1}{2}{w}^{T}w\\ y_i(w^T{x}_i+b)⩾1,i=1,2,...N\end{array}$$
  解释一下最后一步，这里的$min||w|{|}_2=min{w}^{T}w$应该不难理解，主要是这个$\frac{1}{2}$怎么来的，其一是因为乘一个常数项并不影响求最优值，其二是为了方便后面的求导运算。
  于是我们就得到了带N个约束条件的求二次函数的最值问题或者说是凸函数的优化问题了，上面标红的公式就是大名鼎鼎的SVM的原问题了。
  容易看出，原问题的求解与特征的维数有关，当特征维数较高时我们很难进行求解，因此我们将其转换为对偶问题。
  首先，通过构造拉格朗日函数将约束条件消除。原问题中的约束条件可以写成：
$$1-y_i(w^T{x}_i+b)⩽0$$
  然后，构造拉格朗日函数：
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i[1-y_i(w^T{x}_i+b)]$$
  其中，$\lambda$为拉格朗日系数，且${\lambda }_i⩾0$，$1-y_i(w^T{x}_i+b)⩽0$
则，原问题$min\frac{1}{2}{w}^{T}w$可以转换为$min[maxL(w,b,\lambda )]$,why?
  从两个方面来看：
  ①在可行解区域内，满足$1-y_i(w^T{x}_i+b)⩽0$，即$maxL(w,b,\lambda )=\frac{1}{2}{w}^{T}w$，因为$L(w,b,\lambda )$第二部分的最大值为0；
  ②在可行解区域外，即$1-y_i(w^T{x}_i+b)>0$ 且${\lambda }_i⩾0$，则$maxL(w,b,\lambda )=+\infty$，无解，而原问题同样在可行解区域外。
  结合①②可知，$min\frac{1}{2}{w}^{T}w$等价于$min[maxL(w,b,\lambda )]$，从而，带约束的原问题转换成了无约束的：
$$\{\begin{array}{cc}minmaxL(w,b,\lambda )& \\ {\lambda }_i⩾0& \end{array}$$
  然后，我们来说一下什么是对偶性。

• 弱对偶性：$minmaxf(x)⩾maxminf(x)$
• 强对偶性：$minmaxf(x)=maxminf(x)$

  在SVM中，满足强对偶性的充要条件是满足KKT条件，如下：
$$\{\begin{array}{c}\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial \lambda }=0\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0\\ 1-y_i(w^T{x}_i+b)⩽0\\ {\lambda }_i⩾0\end{array}$$
  其中，${\lambda }_i(1-y_i(w^T{x}_i+b))=0$称为松弛互补条件。
  当满足KKT条件后，我们就可以把原问题转换为对偶问题了，即：
$$\{\begin{array}{cc}minmaxL(w,b,\lambda )& \\ {\lambda }_i⩾0& \end{array}=\{\begin{array}{cc}maxminL(w,b,\lambda )& \\ {\lambda }_i⩾0& \end{array}$$
  下面我们来求$minL(w,b,\lambda )$。
  由
$\frac{\partial L}{\partial b}=0\Rightarrow -{\sum }_{i=1}^N{\lambda }_i{y}_i=0\Rightarrow {\sum }_{i=1}^N{\lambda }_i{y}_i=0$
  展开$L(w,b,\lambda )$:
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i-b\sum _{i=1}^N{\lambda }_i{y}_i$$
=>
$$L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i$$
  由$\frac{\partial L}{\partial w}=0\Rightarrow \frac{1}{2}\ast 2\ast w-{\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i=0$,可得：
$$w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$
代入$L(w,b,\lambda )$，得：
$$L(w,b,\lambda )=\frac{1}{2}(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i{)}^T(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i)+\sum _{i=1}^N{\lambda }_i-(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i{)}^T(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i)$$
=>
$$L(w,b,\lambda )=\sum _{i=1}^N{\lambda }_i-\frac{1}{2}(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i{)}^T(\sum _{i=1}^N{\lambda }_i{y}_i{x}_i)$$
=>
$$L(w,b,\lambda )=\sum _{i=1}^N{\lambda }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j$$
  则$$\{\begin{array}{cc}maxminL(w,b,\lambda )& \\ {\lambda }_i⩾0& \end{array}$$
  转为了：
$$\{\begin{array}{cc}max{\sum }_{i=1}^N{\lambda }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j& \\ {\lambda }_i⩾0& \end{array}$$
  将max问题转为min问题：
$$\{\begin{array}{cc}min\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j-{\sum }_{i=1}^N{\lambda }_i& \\ {\lambda }_i⩾0& \end{array}$$
  容易看出，该优化问题只与数据量有关，这就是大名鼎鼎的SVM的对偶问题。
最后，就是如何求解最优的$w^{\ast }$和$b^{\ast }$：
①由$\frac{\partial L}{\partial w}=0$,可得：$w^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$；
②由松弛互补条件，当${\lambda }_i=0$时无法求出$b^{\ast }$，因此令$1-y_i(w^T{x}_i)=0$,即
$$y_i(w^T{x}_i)=1$$
由于$y_i=\left\{\begin{array}{c}-1,1\end{array}\right\}$，两边同乘$y_i$，得：
$$w^T{x}_i+b=y_i\Rightarrow b^{\ast }=y_i-w^T{x}_i$$
将$w^{\ast }$代入，得：
$$b^{\ast }=y_i-(\sum _{i=1}^N{\lambda }_i{x}_i{y}_i{)}^T{x}_i=y_i-\sum _{i=1}^N\sum _{k=1}^N{\lambda }_k{y}_k{x}_k^T{x}_i$$
最终找到的SVM表达式为：$f(x)=sign(w^{{\ast }^T}x+b^{\ast })$。
最终找到的最优超平面为：$w^{{\ast }^T}x+b^{\ast }$。
最后，为坚持看到这里的你鼓个掌。