SVM入门笔记

本文不是一篇正式的tutorial，只是帮助回忆和理解SVM推导的笔记。此文章会长期更新。

分类问题

SVM（support vector machine）是一种著名的分类算法。我们学过Logistic回归，但它只能处理简单的线性分类。在现实生活中，很多问题的属性不能简单的用线性分类完成，或者说线性分类的效果不好，这时候我们就要想其他办法。

超平面

我们可以想象这样一个方程：

$$w^{T}x+b=0$$

若这里的$x$是二维向量，那么就是我们熟悉的平面方程。若大于二维，则是一个超平面，在SVM中，这个超平面也被称为决策面。

我们的目标就是想找到这样一个决策面，使得样本点能够较好的分布在超平面两侧，这就达到了我们分类的目的。

分类间隔

很显然，对于样本点来说，这样的决策面肯定不止一个。那么，如何来度量我们分类好坏的标准呢？

在SVM中，我们使用分类间隔来度量，所谓分类间隔，是指保证决策面方向不变且不会错分样本的情况下移动决策面，会在原来的决策面两侧找到两个极限位置（越过则会产生错分现象）。因此，这两条平行线（面）之间的垂直距离就是这个决策面对应的分类间隔。

不同方向的最优决策面通常是不同的，那个具有最大间隔的决策面就是SVM要寻找的最优解。而这个真正的最优解对应的两侧虚线所穿过的样本点，就是SVM中的支持样本点，称为支持向量。

根据我们学习过的平面距离可以得到：

$$d=\frac{|w^T+b|}{||w||}$$

我们首先考虑一个决策面是否能够将所有样本都正确分类的约束。我们可以为每个样本点$x_i$加上一个类别标签 y i = { − 1 , 1 } y_i = \{-1,1\} yi​={ −1,1}，假如我们的决策面方程能够完全正确的对所有样本点进行分类，则可以得到：

$$f(x)=\{\begin{array}{r}{w}^T{x}_i+b>0for{y}_i=1\\ w^T{x}_i+b<0for{y}_i=-1\end{array}$$

如果我们要求再高一点，假设决策面正好处于间隔区域的中轴线上，并且相应的支持向量对应的样本点到决策面的距离为d，那么公式可以进一步写成：

$$f(x)=\{\begin{array}{r}(w^T{x}_i+b)/||w||\ge d\forall y_i=1\\ (w^T{x}_i+b)/||w||\le -d\forall y_i=-1\end{array}$$

对公式重写（两边同时除以d）：

$$f(x)=\{\begin{array}{r}{w}_d^T{x}_i+b_d>1for{y}_i=1\\ w_d^T{x}_i+b_d<1for{y}_i=-1\end{array}{w}_d=\frac{w}{||w||d},b_d=\frac{b}{||w||d}$$

由于$w_d$与$w$并没有本质差别，因此不再做区分，我们的目标是想要在正确分类的情况下使得分类间隔最大化，即 m a x { d } max \{d\} max{ d}，也等价于 m i n { 1 2 ∣ ∣ w ∣ ∣ 2 } min \{ \frac {1}{2} ||w||^2\} min{ 21​∣∣w∣∣2}。

因此，我们得到我们问题的总描述：

$$\min \frac{1}{2}||w|{|}^2$$

$$s.t.y_i(w^T{x}_i+b)\ge 1,i=1,...,n$$

margins

• Functional margins
  • ${\gamma }^{(i)}=y^{(i)}(w^{T}x+b)$
  • 这个函数可以用来衡量confident和correct
  • 如果分类正确，那么该函数始终是正数，且离决策边界越远，值越大，也就越confident
  • 如果分类错误，那么该函数是负数
  • 因此，我们的目标是找到最小的margin，也就是 $\gamma =\min {\gamma }^{(i)}$
• Geometric margins
  • Functional margins有一个很大的问题在于，如果我等比例的scale $w,b$，那么该值就一定会增大。但此时对于margin来说并没有提升，因此无法直接用来衡量。
  • 我们新定义一个Geometric margins，可以认为是一个相对的大小：
    • γ ( i ) = y ( i ) ( w ∣ ∣ w ∣ ∣ T x + b ∣ ∣ w ∣ ∣ ) \gamma^{(i)} = y^{(i)}(\frac{w}{||w||}^Tx + \frac{b}{||w||}) γ(i)=y(i)(∣∣w∣∣w​T</