支持向量机的基本原理（一）

相关内容
SMO算法求解支持向量机（二）
用SMO算法求解支持向量机（SVM）pythony源代码（三）
支持向量机是万能的分类器算法，简称SVM。一般来说他是二分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

一 理解SVM基本原理

1，SVM的基本概念

我们的目的是根据几何间隔计算“最大间隔”。

1.1 函数间隔

对任何一个数据点(x,y)，|wT*x+b|能够表示点x到距离超平面wT*x+b=0的远近，而wT*x+b的符号与类标记y的符号是否一致可判断是否分类正确。所以，可用y(wT*x+b)的正负性判定或表示分类的正确性（为正才正确），引出了函数间隔（functional margin）的概念。定义函数间隔为：

而超平面所有样本点(xi，yi)的函数间隔最小值便为超平面关于训练数据集的函数间隔： mini (i=1，…n)
实际上，函数间隔就是几何上点到面的距离公式。
1.2 几何间隔

假定对于一个点 x ，令其垂直投影到超平面上的对应点为 x0 ，w 是垂直于超平面的一个向量，为样本x到分类间隔的距离，如下图所示：

数据点到超平面的几何间隔定义为：