学习资源:结构之法算法之道(july)
1、基本概念
支持向量机(Support Vector Machine,简称SVM)实质上是一种分类器(二分类)。与传统的logistic regression作为分类器相比,其特点是特征空间上间隔最大,因此效果更好,分类的确信度更高。
2、逻辑回归
传统的logistic regression可以作为线性分类器。使用sigmoid函数将数据x映射到(0,1)这个区间,其值表示y=1的概率。logistic regression分类常用的分类标志为0和1,对于sigmoid函数(g(z)),如果z>0则g(z)>0.5;如果z<0则g(z)<0.5。如果g(z)>0.5可以认为y=1;如果g(z)<0.5可以认为y=0。
而SVM分类器的分类标志为1和-1,与逻辑回归没有本质区别。
3、超平面
想象有一个二维平面,平面上有两种不同的数据,分别用圈和叉表示,如果这些数据是线性可分的,则可以用一条直线把这些数据分开,那么这一条直线就是一个超平面。SVM的目标就是寻找一个超平面,使得这条直线离两边数据的间隔最大。
这个超平面可以用分类函数表示
4、函数间隔Functional Margin与几何间隔Geometrical Margin
当超平面已经确定,即f(x)=w^{T}*x+b,则平面上某一点到超平面的距离可以用 表示,
的正负可以用来判断分类的正确性,因此定义函数间隔
对于所有的 ,for i=1,2,3,...超平面关于整个训练数据集的函数间隔为
函数间隔的问题在于,当w与b成比例发生变化,超平面并不会因此改变,但是函数间隔会相应的成比例改变,因此引入几何间隔来表示真实的点到直线的距离。
5、最大间隔分类器
由于当超平面不变,只是成比例改变w和b的值时,函数间隔会改变,因此应该采用最大化几何间隔的方法来选择最大间隔分类器。
为了方便推导,可以另函数间隔为1,即 ,其中
。因此,问题可以简化为
。
这样找到的平面即是最优超平面。
![](https://i-blog.csdnimg.cn/blog_migrate/4e23ee5133113f3a9d10108ae3b26216.jpeg)
图中虚线上的点即为支持向量。