* 以下内容是在学习过程中的一些笔记,难免会有错误和纰漏的地方。如果造成任何困扰,很抱歉。*
限于篇幅过长,分为三个部分:
1.SVM与SVR(1)——KKT条件和Lagrange对偶函数g
2.SVM与SVR(2)——SVM、SVM柔性边界和核函数
3.SVM与SVR(3)——SVR和SVR、SVM的support vector对比
开始正文。
2.1 SVM(支持向量机, Support Vector Machines)
2.11 超平面(Hyperplane)
回到第一篇最开始给出的第一个例子(例1):
![51a558425a6d59de628df130234937bb.png](https://i-blog.csdnimg.cn/blog_migrate/1e7a18ff1c7c16689c41e85832c8620a.png)
在如上图的二维空间里,有两类不同个体(y=0和y=1),我们方便讨论就说C0类(y=0)和C1类(y=1)。。很明显,在“中间”画一条直线l,就可以判断一个样本的所属类别(直线l上方为C1,直线下方为C0)。
那么如果在三维空间里呢?可以找到z=0(或z=0.25)的一个平面,把C0和C1区分出来:位于z=0平面上方为C1,位于z=0平面下方为C2。
![eba8a555948d3d541566a4b27e20b330.png](https://i-blog.csdnimg.cn/blog_migrate/eb040387986de6501d8c7ecdb15d9099.png)
更一般地,在n维线性空间,我们尝试找到一个超平面(Hyperplane)。有了这个超平面,我们就可以判断某个样本属于C0还是C1了。在二维空间里面,超平面就是一条线;在三维空间里,超平面就是一个面;...;在n维线性空间里,超平面应该是(n-1)维度的。
我们设超平面的表达式为
即,我们在意的是
2.12 几何间隔(Geometric Margin)
我们现在已经确定要找一个超平面(Hyperplane)。再回到最初的例1:会发现,直线l和直线2在这个图中都可以作为我们想到的直线,如果只是单纯看起来区分C0和C1。或者说,这个例子中,其实能找出来无数条直线。那这无数条直线中,有没有所谓的好坏呢?如果有好坏,怎么样找到那条最好的?
这个好