机器学习算法之SVM(一）：线性可分支持向量机与硬间隔最大化。

线性可分支持向量机

• 给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
  $$w^{\ast }x+b^{\ast }=0$$以及相应的决策函数$$f(x)=sign(w^{\ast }x+b)$$称为线性可分支持向量机。
• 支持向量机对应将两类数据正确划分并且间隔最大的直线。
• 

函数间隔

• 给定数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$ 关于样本点$(x_i,y_i)$ 的函数间隔为：$${\hat{\gamma }}_i={\gamma }_i(w{x}_i+b)$$
• 定义超平面关于训练集$T$的函数间隔为所有点中的最小值
  $$\hat{\gamma }=mi{n}_{i=1,.,N}\widehat{{\gamma }_i}$$
• 函数间隔表示分类预测的正确度以及确信度，但是由于成比例的改变$w和b$时，函数间隔改变，平面却不变，因此我们必须对$w$规范化。使得$||w||$为1。这时函数间隔就变为几何间隔。

几何间隔

• 对于给定训练集$T$和超平面$(w,b）$,定义超平面$(w,b)$关于样本点$(x_i,y_i）$的几何间隔为
  $${\gamma }_i=y_i(\frac{w}{||w||}{x}_i+\frac{b}{||w||})$$

• 同样关于训练集$T$的几何间隔为所有样本的最小值。
  $$\gamma =mi{n}_{i=1,.,N}\widehat{{\gamma }_i}$$

• 可以看到，几何间隔就是点到平面的距离。

函数间隔与几何间隔之间的关系

$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||},\gamma =\frac{\hat{\gamma }}{||w||}$$

间隔最大化

• 当数据集线性可分是，间隔最大化又称为硬间隔最大化。最大化间隔可以考虑下面的约束最优化问题：
  
• 由函数间隔和几何间隔的关系。相当于优化下列函数间隔。
  
  -由函数间隔$w,b$成倍缩放不影响最终平面，因此上式等同于最大化$\frac{1}{||w||}$,由于||w||大于零，因此等同于最小化$\frac{1}{2}||w|{|}^2$,这样最终优化问题变为了

• 这是凸二次规划问题，通过解此问题，我们可以求得最优的$w^{\ast }和b^{\ast }$

算法

• 最大间隔分离超平面是存在且唯一的。

支持向量和间隔边界

• 在线性可分的前提下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。支持向量是是约束条件取等号的点。
  

• 最后$H_1,H_2$之间的距离就成为间隔，值为 $\frac{2}{||w||}$ ,$H_1,H_2$称为间隔边界。
• 再决定分离超平面过程中，只有支持向量起作用，由于支持向量在分类中起决定性作用，因此将此模型叫做支持向量机，支持向量个数很少，因此支持向量机由很少的重要训练样本决定。

学习的对偶算法

• 未完待续

总结

这一节中，我们了解了

• 什么是支持线性可分支持向量机。它是一种分类模型，主要包含超平面和决策函数。
• 同时，我们也了解了如何求的这一个超平面，这其实就是一个凸二次规划问题。
• 超平面是存在且唯一的。
• 间隔正比于$||W|{|}^{-1}$
• 支持向量是使得约束条件取等号的点,且支持向量机只由这些点决定。