当样本集处于非线性可分时,需要引入松弛变量,放松线性约束。
松弛变量是什么?
松弛变量 :指出第i个观测的位置、相对于间隔的位置、以及相对于超平面的位置。
,表示第i个样本落在间隔正确的一面;,说明落在错误的一面。
例如,对于图中右下角那个红圈,
引入松弛变量是如何处理线性不可分的?
先看优化目标(未引入松弛变量):
s.t
引入松弛变量后的优化目标:
s.t
可以把松弛变量理解为:异常点离群距离的大小。例如,如果把右图红圈5当做异常值,那么离群值就大于0,也就是说,,那么
变量C用来控制对错误分类的惩罚,C越大,对错误的惩罚越大。换句话说,C越大,对错误分类的要求就越严。(如图所示)
如果考虑极端情况,C取无穷大,那么,问题就无解了。
如果C较小,那么中,增加时(有更多异常点的加入),对的影响就比较小了,那么就能忽略更多的“异常点”,降低模型的方差。
以上就是我对软间隔分类中松弛变量的理解,由于昨天刚学习SVM,如果哪里理解有误,还望指正!