SVM学习笔记

SVM个人理解

---

核心

SVM(Support Vector Machine)，二分类模型（可扩展为多分类模型, One-vs-rest or one-vs-one，也可做回归，参考SVR）。其要点如下:

• Maximum geometric margin: 求空间中一超平面得到最大分类间隔
• Hinge loss: 对支持向量施加的松弛惩罚
• Kernel trick: 利用核函数非线性分类

概念

• 问题形式化：给定训练数据集
  $$T={(x_1, y_1), (x_2, y_2), \ldots, (x_N,y_N)}$$
  $\mbox{其中},x_i\in R^n,y_i\in \{+1,-1\},i=1,2,\ldots,N,x_i\mbox{是}\mbox{第}i\mbox{个特征向量}，y_i\mbox{是}x_i\mbox{的类标记}$
• 线性可分： 假设训练集在输入空间线性可分，即存在一个超平面：$wx+b=0$能够完全划分正负实例点。
• 函数间隔 $$\hat{\gamma} = \min\limits_{i=1,\ldots,N} y_i\cdot (w\cdot x_i + b)$$
• 几何间隔 $$\gamma = \min\limits_{i=1,\ldots,N} \frac{y_i\cdot (w\cdot x_i + b)}{\| w \|}=\frac{\hat{\gamma} }{\| w \|}$$

线性可分支持向量机

---

对于线性可分的训练数据集，可以证明一定存在唯一的超平面能够最大化几何间隔。我们认为具有最大间隔的超平面具有最佳分类效果。
在这，个人对函数间隔与几何间隔这样理解。对同一个超平面，通过比例缩放$w$和$b$，函数间隔也会同比例变化。也就是说，对于一个成功划分正负实例的超平面（不一定最优），该平面固定，但是通过缩放$w$和$b$，可以使其function margin取任何正值。而我们的目标是找到具有最大margin的超平面。显然通过最大化函数间隔没有意义，因为任何成功划分训练实例的超平面都可以使函数间隔无限大。我们注意到，对一个超平面，函数间隔与$\|w\|$的比值保持不变，也就是说几何间隔与超平面关联。所以，我们目标是最大化几何间隔，而且我们可以令函数间隔为1，然后最小化$\|w\|$达到最大化几何间隔目的。

因此，线性可分支持向量机学习算法-最大硬间隔法

约束最优化问题

$$\begin{array}{2} \min\limits_{w, b} \frac{1}{2}{\| w \|}^2 \\ \mbox{s.t. } y_i(w \cdot x_i+b)-1\ge 0, i = 1,2,\ldots, N\\ \end{array}$$
求得最优解 $w^*$和 $b^*$
超平面 $$w^*\cdot x + b^* = 0$$
分类决策函数