基本思想:
首先通过非线性变换将输入空间变换到高维空间,然后在这个新空间求最优分类面即最大间隔分类面,其中通过采用核函数作为内积,间接实现了对特征的非线性变换,因此避开了在高维空间进行计算。
决策过程:
首先输入样本和一系列的支持向量进行相似性比较,而采用的相似度度量就是核函数,比较后的得分进行加权求和,最后根据加权求和值的大小进行类别决策。
采用不同的核函数就是采用不同的相似行度量,比如线性支持向量机就是采用欧式空间中的内积作为相似性度量。
最优分类超平面:
如图所示, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, H1、H2上的点(xi, yi)称为支持向量, 它们之间的距离叫做分类间隔(margin)。中间那条分界线并不是唯一的,我们可以把它稍微旋转一下,只要不分错。所谓最优分类面(Optimal Hyper Plane)就是要求分类面不但能将两类正确分开(训练错误率为0),而且使分类间隔最大。推广到高维空间,最优分类线就变为最优分类面。支持向量是那些最靠近决策面的数据点,这样的数据点是最难分类的,因此,它们和决策面的最优位置直接相关。
核函数类型:
- 线性
- 多项式
- 径向基(RBF)
RBF函数的中心、位置、宽度、个数和连接权值都可以在SVM的训练过程中确定。 - Sigmoid
实现的是一个三层的神经网络,隐含层节点的个数就是支持向量的个数,也就是实现自动确定节点的个数。
LIBSVM的参数设置如下:
核函数参数:
- 《模式识别》张学工:
- 基本经验是,先尝试简单的选择,如线性核函数,结果不好时再考虑非线性核函数。
- 如果采用RBF,应该首先选用宽度较大的核,宽度越大越接近线性,然后尝试减小宽度,增加非线性。
- 吴恩达课程:
- 如果特征数量达到和样本数量差不多,选用LR或线性核
- 如果特征数量小,样本数量正常,用径向基(RBF)
- 如果特征数量小,而样本数量很大,则要手工添加特征变成第一种情况
SVM适合小训练集的原因:
如果增加的样本点只是无效约束,并不会影响其最后的结果。
由于使用数据集的核矩阵(Kernel Matrix)描述样本之间的相似性,矩阵元素的个数随着数据规模增大成平方增长。这样要随着数据规模增大,SVM的计算变得无法处理。
拉格朗日乘子和对偶问题
支持向量机想得到最优分类超平面,
于是要最大化分类间隔,
也就要最小化权向量的模
在求上面这个最小值的时候,有一个不等式约束:分类决策函数x样本类别符号>1
通过对每个样本引入一个拉格朗日系数,将不等式约束转为等式约束:min max L(w,b,a)
L(w,b,a) 是拉格朗日泛函,原来的解等价于对w,b求最小,a求最大,最优解在L的鞍点上取得
在鞍点处,L对w和b的偏导都为0,令L(w,b,a)对w和b求偏导为0,
将结果带入拉格让日函数中w和b消去,得到L的对偶问题Q(a),
通过求对偶问题的解a,可以求出原问题的解w,
通过KKT条件得到,在拉格朗日泛函处满足:分类决策函数x样本类别符号=1,所以已知w,可以用任何一个支持向量带入上式,求出b。实际中通常对所有a非零的样本求b,再求平均。
注:上面这些主要是对《模式识别》第三版,4.6节的整理,理清思路
通俗来讲,对偶问题就是使求解更加高效且目标函数值不变,通过先消去w,b,得到关于α的函数,然后单独计算 α,通过得到的α反求w,b,最后获得超平面的参数,相比于先对α的不等式约束进行计算,对偶的方式使得计算更加便捷。
具体算法流程点这里 拉格朗日乘子细节
猜你喜欢:👇🏻
⭐【算法】一个简单的决策树(DT)原理
⭐【算法】一个简单的k均值(k-means)原理
⭐【算法】一个简单的主成分分析(PCA)原理