七、支持向量机
支持向量机分为线性可分支持向量机(硬间隔最大化)、线性支持向量机(软间隔最大化)、非线性支持向量机(核技巧+软间隔最大化)。
函数间隔与几何间隔(用来表示分类的):
r =y(w*x+b)
r’ =y(w*x+b)/ || w ||
1、线性可分支持向量机
输入空间为欧式空间或离散空间,特征空间为欧式空间或希尔伯特空间。
分离超平面:w*x+b=0
分类决策函数:f(x)=sign(w*x+b)
2、最大间隔分离超平面
先找到超平面(w,b)(某确定系数)关于训练集T中的几何间隔最小的值r,然后在所有(w,b)中就最大的 r‘,求解算法利用拉格朗日对偶性,
证明:最大间隔分离超平面的唯一性(P101)
支持向量:y(w*x+b)-1=0的实例集称为支持向量(只有支持向量起作用)。
3、线性支持向量机与软间隔最大化
加上一个松弛变量 ξ,约束条件变为 0<α <C
4、非线性支持向量与核函数
技巧:将非线性问题变换为线性问题
使核函数K(x,z)=φ(x)φ(z),将空间x映射到空间H
常用核函数:多项式核函数、高斯核函数、字符串核函数
5、序列最小最优算法SMO
在N个α中先找到两个,只优化这两个,优化方法P125,选取点的方法P128,先选取偏离最严重的α
6、习题