SVM支撑矢量机

参考：麦好，《机器学习实践指南》

SVM在解决小样本、非线性及高维模式识别问题中具有许多优势。

1、算法思想

        SVM首先将向量映射到一个更高维的空间里，在其中建立最大间隔超平面，将数据分开；然后，在超平面两边再设立两个互相平行的超平面；最后分隔超平面，使两个平行平面的距离最大化。SVM假定平行超平面的距离或差距越大，分类器的总误差越小。

2、超平面

      超平面的数学形式可以写作：

                 

      其中x是超平面上的点，w是垂直于超平面的向量。

      平行超平面可表示为以下两个方程：

              

             

       其中w为超平面的法向量，是一个变量。

       如果数据是线性可分的，可找到两个超平面，在它们之间没有任何样本点，并且这两个超平面之间的距离也最大。

       这两个超平面之间的距离是;因此需要最小化，因为这两个超平面之间没有任何样本点，所以还需要满足以下两个条件中的一个：

             

                          

后续补充。