目录
第六章 支持向量机
支持向量机的目的是找到一个超平面来将不同的类别分开;支持向量回归是回归问题,希望学得一个回归方程y=f(x)使得,f(x)与y尽可能接近。
一、间隔与支持向量
1.分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面。
2.超平面线性方程:
3.样本点到超平面得距离:
4.距离超平面最近的训练样本点使得(6.3)等号成立,这样的样本称作支持向量,两个异类支持向量到超平面的距离称作“间隔”:
5.支持向量机的目的是找到具有最大间隔的划分超平面,支持向量机SVM的基本型:
二、对偶问题
1.求解SVM的最优解w、b值,可以转化为对偶问题,使用拉格朗日乘子法可得到“对偶问题”:
拉格朗日乘子法得到的式子可以写成:
上式转化为对偶问题可得:
将偏导为零带入拉格朗日式中:
2.求解对偶问题,需要满足KKT条件:
3.支持向量机重要性质:模型最终结果只与支持向量有关,大部分训练样本都不需要保留。
4.求解对偶问题的算法,著名的代表算法SMO:
5.确定偏移项b:
三、核函数
1.对于非线性可分的数据,需要将数据映射到更高维度的空间内,从而找到线性可分的超平面。
核函数可以将样本从原始空间映射到一个更高维的特征空间,任意一个核函数都隐式地定义了一个称为“再生核希尔波特空间”的特征空间。
2.核函数的分类:
线性核;多项式核;高斯核;拉普拉斯核;Sigmoid核
四、软间隔与正则化
1.为了防止过拟合,允许支持向量机在一些样本上出错,引入软间隔
2.采用合页损失函数,优化目标为:
C为惩罚系数,C趋于无穷,不允许样本出错;C为有限值,允许样本出错。
3.带有松弛变量的拉格朗日函数:
4.软间隔的对偶问题,软间隔支持向量机最终模型仍仅与支持向量有关,采用合页损失函数仍保持了稀疏性
5.正则化
二范数倾向于w的分量取值尽量均衡,即非零分量个数尽量稠密;
一范数倾向于w的分量取值尽量稀疏,即非零分量个数尽量少。
五、支持向量回归SVR
1.SVR的支持向量仅是训练样本的一部分,其解仍具有稀疏性。
六、核方法
1.核函数对应的再生核希尔伯特空间;
2.基于核函数的学习方法统称为核方法。
3.如何提高效率,使SVM能适用于大规模数据一直是研究重点。核函数直接决定了支持向量机与核方法的最终性能,但遗憾的是,核函数的选择一直是未决问题。