SVM 支持向量机(1) 硬间隔最大化

SVM (Support Vector Machine)- 支持向量机

主要从<<统计学习方法>>中整理

线性可分的情况下,假设存在一个超平面, $\vec{w}$是其法向量,对于正样本有 $w\cdot x + b\ge\hat{\gamma}$, 对于负样本有$w\cdot x + b\le-\hat{\gamma}$, 如果$\gamma = 0$, 说明样本刚好落在超平面上. 这里能一眼看出来$width = 2\hat{\gamma}$, 对于二分类, $y_i = \{1, -1\}$, 于是上面两个不等式乘以相应的$y_i$就都成了

$$y_i( w \cdot \vec{x}_i +b)\ge\hat{\gamma}$$
所有样本带进去都满足, 至少有一个样本取等号, $\hat{\gamma}$就是 最小函数间隔, 若定义 $$\hat{\gamma}_i = y_i( w \cdot \vec{x}_i +b)$$
由于 $w$和 $b$的等比例缩放, $width$也会跟着缩放, 没法求最优, 所以得把 $w$变成 单位法向量, 这样产生了一种几何意义: 样本 $\vec{x}_i$在法向量方向上的投影的点离超平面有多远, 于是有了 几何间隔 $$\gamma_i = y_i\frac{( w \cdot \vec{x}_i +b)}{||w_i||}$$ 最小几何间隔
$$\gamma = \mathop{\min}_{i=1,2,...,n}\gamma_i = \frac{\hat{\gamma}_i}{||w_i||}$$
于是有了最大化最小集合间隔的问题: $$\max_{w, b} \frac{\hat{\gamma}}{||w||}$$
满足对于所有样本有 $$y_i( w \cdot \vec{x}_i +b)\ge\hat{\gamma}$$

假设将$w$和$b$缩放到$\lambda w$和$\lambda b$, 则函数间隔变成了