SVM软间隔

图解来自于哔哩哔哩Up主：FunInCode

1.损失函数

接下来我们移动点a。

 可以看到，当点a向负超平面移动时，不断向0靠近。当a处于负超平面时，。

 之后我们顺着相同方向继续移动数据点a，原约束条件 并不会被破坏，仍有。显然，那些本来就符合硬间隔约束条件的点的损失值始终是0。

 当我们把点a向正超平面方向移动时，也会线性增加。

所以对于任意点i，它的损失值可以表示为

由于该函数的图形特点，我们将它称之为“铰链损失函数” (Hinge Loss Function)

 2.优化问题

但  和  会相互制约， 越大， 间隔越小， 越小。  越小， 间隔越大，越大。而 和  需要达到平衡，使二者相加最小化，才能实现  的最优。

在实际求解的时候，我们会对目标函数的损失值部分乘 ，得到

可以控制我们对损失值的容忍度，起到惩罚的作用。值大，说明函数值对敏感，对容忍度低。一个极大的会使我们无法容忍，使最优解中的 ，等价于硬间隔问题。因此选择合适的，对SVM分类的效果很重要。