机器学习基础（五十四）—— 支持向量机（SVM）

$$\alpha_i\Leftrightarrow (\mathbf x_i,y_i)$$
支持向量机的一个重要性质即是：训练完成后，大部分的训练样本（对应 $\alpha_i = 0$ 的样本）都不需要保留，最终的模型仅与支持向量（ $\alpha_i > 0$ 对应的样本）有关。

1. 软间隔与正则化

软间隔（soft margin）：允许支持向量在一些样本上出错。

2. 特色

• 支持向量机是建立在统计学习理论 VC 维理论和结构风险最小化原理基础上的机器学习方法。
• 其在解决小样本、非线性和高维模式识别问题中表现出很多特有的优势，
• 并在很大程度上解决了“维数灾难”和“过拟合”等问题；
• 理论上，支持向量机能够对线性可分数据的最优分类；

3. 最大间隔

• 最佳分类平面：$wx+b=0$
• 正负样本的支持向量所在的平面分别是：$wx+b=1$，$wx+b=-1$

设正的支持向量为 $x_1$，负的支持向量为 $x_2$，则有：

$$\left\{ \begin{split} &wx_1+b=1\\ &wx_2+b=-1 \end{split} \right.⇒ w\cdot (x_1-x_2)=2$$

由内积的几何意义可知：

$$\|w\|d=2 ⇒ d = \frac{2}{\|w\|}$$