支持向量机SVM（Support Vector Machine）算法初解

其实SVM在去年的时候就接触到了，只是一直都属于模模糊糊的状态，最近跟着老板一起上机器学习的课，有种豁然开朗的感觉，于是乘机写下这篇博客。

每个算法都有一个优化的准则，SVM也不例外，他运用的是最大化margin的准则，如图所示：

                                                                  

这么多的红线都可以将样本分类，但是哪一条更好了，这就依赖于我们选取的准则。最大化magin的目标如上图2，使两类样本到分类面的距离尽可能的大。

说到距离，就要提到SVM里面用到的两个距离的概念：函数距离，几何距离。几何距离很直观，也就是我们上面说的margin，即点到直线的距离。根据点到直线的距离公式，得到

几何距离为下图1，函数距离为下图2。

                         

下面要说一下这两个公式的性质：