支持向量机（SVM）

支持向量机

支持向量机的最基本思想就是基于训练集在样本空间中找到一个超平面将不同类的样本划分开，这个超平面最优的情况是容忍性要好，具有客观的鲁棒性，对未见的事例的泛化能里较强。

一个超平面可以用以下线性方程描述

                                                                 

为法向量，决定平面的方向，b为位移项与原点的距离，那么这个超平面可描述为（）。

样本空间中任意一点x到这个超平面的距离公式可以表示为：

                                                               

这个公式的理解可以在二维的平面中任意一点x(x0,y0)到ax+by+c=0这条直线的距离开始，点到直线的距离为：

                                                                          

是同一个道理。

两个不同类之间的间隔为那么要使得超平面最优那么间隔就需要达到最大化，故||w||就需要达到最小化。

以上为支持向量机的基本型。

原始样本空间可能并不存在一个能够正确划分样本空间的超平面，此时可讲原始的样本空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。如果原始样本的属性有限，那么一定存在一个高维的特征空间使得样本可分。