关于SVM的合页损失函数与原始最优化问题等价性的证明

李航老师的书中写的不是很详细,想了一番参考了一下这个博客,终于明白了这个等价性是怎么来的。

原始最优化问题

在这里插入图片描述

合页损失函数

在这里插入图片描述

等价性证明

书中,令
在这里插入图片描述
实际上我觉得这个表述不对,等式应该直接按后文书中给出的,如下表示:
[1yi(wxi+b)]+=ξi,ξi0(7.641) \left[1-y_{i}\left(w \cdot x_{i}+b\right)\right]_{+}=\xi_{i}, \quad \xi_{i} \geqslant 0 \qquad (7.641)

这里我们分两种情况讨论 1yi(wxi+b)1-y_{i}\left(w \cdot x_{i}+b\right) 的取值,当该值大于等于0时候,原等式(7.64)成立。此时,约束(7.61)的等式情况成立

但是该值存在小于0的情况,此时等式(7.64)不成立。但我们注意到,当该值小于0时,实际对应着函数间隔大于1,也就是样本点在正负例的超平面的外侧,该样本点不是支持向量。此时,松弛变量 ξi=0\xi_i=0

此时,根据 1yi(wxi+b)<01-y_{i}\left(w \cdot x_{i}+b\right)<0ξi=0\xi_i=0可以得到约束(7.61)的不等式情况,至此,约束条件全部成立。

而根据等式(7.641),代回(7.60),之后就没有太多的问题了
在这里插入图片描述

发布了132 篇原创文章 · 获赞 77 · 访问量 12万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 精致技术 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览