本文将从如下几个点出发,讨论支持向量机,同时会给出公式的简单的推导。推导的过程中会运用到的数学基础不会超过于本科所学的内容。
1.支持向量机本质
支持向量机本质上是在数据样本点中找到一个超平面将其划分的数学问题。2维坐标系下的超平面是1维直线,3维坐标系下的超平面是2维平面。同理,我们拥有n维的数据,得到有n维空间,n维空间下的超平面就是n-1维的空间。
2.支持向量机问题的引出并将其数学化表达
如图,我们需要从叉和圈中间找到一个最合适的直线(超平面)来划分它们。但是怎么划分就显得比较困难,我们需要统一一个方法来找到最好的划分效果的直线:最大间隔。这里放一个图出来就很明显的看出什么是间隔,什么是距离了。数学公式如下。
最大间隔好在能够很好的隔离出圈和叉,使得最近的样本点都有与其他直线相比最大的距离,间隔大了,以后新来的样本点来了,就不会搞错分类错了。通过找出最大间隔的这一条直线,我们就能够确定,它就是最佳划分圈和叉的直线。
本节数学小知识 通过向量来推导点到超平面距离
公式推导如下
最后我们发现,SVM的问题最终转化成为