支持向量机是属于原创性、非组合的具有明显直观几何意义的分类算法,具有较高的准确率。
使用SVM算法的思路:(1)简单情况,线性可分情况,把问题转化为一个凸优化问题,可以用拉格朗日乘子法简化,然后用既有的算法解决;(2)复杂情况,线性不可分,用核函数将样本投射到高维空间,使其变成线性可分的情形,利用核函数来减少高纬度计算量。
一、SVM相关基本概念
分割超平面
设C和D为两不相交的凸集,则存在超平面P,P可以将C和D分离。
两个集合的距离,定义为两个集合间元素的最短距离。
做集合C和集合D最短线段的垂直平分线。
(图像摘自七月算法)
但是, 如何定义两个集合的"最优"分割超平面?找到集合“边界”上的若干点,以这些点为“基础”计算超平面的方向,以两个集合边界上的这些点的平均作为超平面的“截距”。这些点被称作支持向量,点是可用向量方式表示。
(图像取自七月算法)
输入数据
假设给定一个特征空间上的训练数据集
其中,,
为第i个实例(若n>1,即x是多维度,具有多个属性特征,此时
为向量);
为
的类标记,当
为+1时,称
为正例,当
为-1时,称
为负例。
线性可分支持向量机
给定线性可分训练数据集,通过间隔最大化得到的分离超平面为,相应的分类决策函数
该决策函数称为线性可分支持向量机。其中,
是某个确定的特征空间转换函数,它的作用是将x映射到(更高的)维度,最简单直接的:
。事实上,求解分离超平面问题可以等价为求解相应的凸二次规划问题。
整理符号
分割平面:
训练集:
目标值:
新数据的分类:
二、SVM推导过程
推导目标函数
根据题设
有:
w,b等比例缩放,则t*y的值同样缩放,从而:
最大间隔分离超平面
目标函数:,表示最近点到直线距离尽可能大
(图像取自七月算法)
函数间隔和几何间隔
分割平面: (函数间隔)
总可以通过等比例缩放w的方法,使得两类点的函数值都满足
(图像取自七月算法)
建立目标函数
1.总可以通过等比例缩放w的方法,使得两类点的函数值都满足
2.约束条件:
3.原目标函数:
4.新目标函数:
5.目标函数变换一下:
6.拉格朗日乘子法
7.原问题是极小极大问题
原问题的对偶问题是极大极小问题
8.将6中的拉格朗日函数分别对w, b 求偏导并令其为0:
9.计算拉格朗日的对偶函数
10.继续求的极大
11.整理目标函数:添加负号
12.线性可分支持向量机学习算法
计算结果如下
13.分类决策函数
三、线性不可分SVM
1.若数据线性不可分,则增加松弛因子,使函数间隔加上松弛变量大于等于1,
则约束条件变成
目标函数: (这里是为了保证松弛因子不至于过大)
2.此时的凸优化为
3.拉格朗日函数
4.将三式代入L中,得到
5. 整理,得到对偶问题的最优化问题
求得最优解
6.计算
实践中往往取支持向量的所有值取平均,作为b*
7.求得分离超平面
8.分类决策函数为
核函数:可以使用核函数,将原始输入空间映射到新的特征空间,从而使得原本线性不可分的样本可在核空间可分。
有多项式核函数
高斯核函数RBF
字符串核函数
在实际应用中,往往依赖先验领域知识或交叉验证等方案才能选择有效的核函数。没有更多先验信息,则使用高斯核函数。
核函数映射:
(图像取自七月算法)
(图像取自七月算法)
高斯核
(图像取自七月算法)
粗线是分割超“平面”,其他线是y(x)的等高线,绿色圈点是支持向量点。
高斯核是无穷维的,因为
注:SVM和Logistic回归的比较:(1)经典的SVM,直接输出类别,不给出后验概率;(2)Logistic回归,会给出属于哪一个类别的后验概率;(3)比较重点是二者目标函数的异同。