其实SVM在去年的时候就接触到了,只是一直都属于模模糊糊的状态,最近跟着老板一起上机器学习的课,有种豁然开朗的感觉,于是乘机写下这篇博客。
每个算法都有一个优化的准则,SVM也不例外,他运用的是最大化margin的准则,如图所示:
这么多的红线都可以将样本分类,但是哪一条更好了,这就依赖于我们选取的准则。最大化magin的目标如上图2,使两类样本到分类面的距离尽可能的大。
说到距离,就要提到SVM里面用到的两个距离的概念:函数距离,几何距离。几何距离很直观,也就是我们上面说的margin,即点到直线的距离。根据点到直线的距离公式,得到
几何距离为下图1,函数距离为下图2。
下面要说一下这两个公式的性质: