线性可分支持向量机与硬间隔最大化
1.线性可分支持向量机
一般地,训练数据线性可分,存在无穷个分离超平面可将两类数据正确分开。
感知机利用误分类最小的策略,求得分离超平面,解有无穷多个。
线性可分支持向量机利用间隔最大化求最优分离超平面,解唯一。
定义1(线性可分支持向量机):给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为
以及相应的分类决策函数,称为线性可分支持向量机。
2.函数间隔和几何间隔
定义2(函数间隔):对于给定的训练数据集T和超平面(w,b),定义超平面(w,b)关于样本点的函数间隔为:。
函数间隔表示分类预测的正确性及确信度。但在选择分离超平面时,只有函数间间隔还不够,因为直言成比例改变w和b,超平面并没有改变,但函数间隔却变了,因此需要对分离超平面的法向量w加约束条件,规范化