机器学习之十三：SVM(支持向量机)

    一般地，对于二分类问题，当训练数据集线性可分时，存在无穷多个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个，线性可分支持向量机利用间隔最大化求最优分离超平面，这时，解释唯一的。
1、函数间隔和几何间隔
（1）几何间隔：
    中学时学过，平面中对于直线$Ax+By+C=0$和点$(x,y)$，点到直线距离的公式为：
$$D=\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}\quad$$
    当我们把维数变成思维甚至高维的时候，对于给定的超平面$(w,b)$及其法向量$w$和高维空间中的一点$x_i$，$x_i$在数据集中的标记为$y_i$，当样本点$(x_i,y_i)$被超平面正确分类时，点$x_i$和超平面$(w,b)$的距离是：
$$\gamma_i=y_i* \frac{w\cdot x_i+b}{||w||}\quad$$
其中$y_i\in\{+1,-1\}$，$w,b\in R^n$,$||w||$是$w$的$L2$范数。
    因此，这里的$\gamma_i$被定义为超平面(w,b)