前言
硬间隔,就是存在所有样本必须划分正确的约束条件,即所有样本必须严格满足约束条件:
但样本集中总是存在一些噪音点或者离群点,如果强制要求所有的样本点都满足硬间隔,可能会导致出现过拟合的问题,甚至会使决策边界发生变化,为了避免这个问题的发生,所以在训练过程的模型中,允许部分样本(离群点或者噪音点)不必满足该约束。当然在最大化间隔的同时,不满足约束的样本应尽可能少
为了 解决上面问题,引入了软间隔
目录:
- 线性支持向量机
- 对偶算法求解问题
- KKT条件
- 支持向量
一 线性支持向量机
当部分样本点不满足函数间隔大于等于1的约束条件,需要引入松弛变量
满足约束条件:
目标函数边变为:
二 学习对偶算法
.....................1
其中
首先对 求导,求极小值得到:
带入1, 得到
再求的极大,即得到对偶问题:
约束条件st:
利用等式消去,
三 KKT 条件
原始问题是凸二次规划问题,解满足KKT条件:
得到分离超平面:
分类决策函数
四 支持向量
4.1
落在间隔边界上
4.2
4.2.1 若 则 ,, 分类正确,落在间隔与分离超平面间
4.2.2 若 ,则 点落在分离超平面上
4.2.3 若 , 则分类错误
参考文献:
《 统计学习方法》