SVM Loss(hinge loss)的计算

看CS231n记录一下SVM的hinge loss的计算过程。

本文以一个通过一个对猫，狗，汽车进行分类的例子演示hinge loss的计算过程。

首先是hinge loss 的公式:

代表当前类的损失值，最终的损失L是所有类的损失值的和的均值。j代表当前是第几类，如j=1是猫。代表当前分类的正确的那一类。S代表分类的分数。这个公式可以简单理解为当当前分类正确时损失为0，否者损失值为其他类别的分数减去正确那一类的分数在加1，这里加的1是指一个安全边界，这个值可以随便指定。

eg：

当前有cat,car,dog分类结果如上图所示，数字代表每一类的分类分数，第一行代表当前分类正确的标签，如第一次的分类结果是3.2,5.1，-1.7正确的分类结果应该是cat但是目前的分类结果分数最高的是car说明这个分类结果是错误的。然后分别计算这三个分类结果的损失和总的损失值。

计算对cat的分类损失L(cat)=max(0, 5.1-3.2+1)+max(0, -1.7-3.2+1)=max(0,2.9)+max(0, -3.9)=2.9+0=2.9

计算cat类的时候使用其他类的分数减去cat的分数然加1然后在这个值和0之间取最大值然后累加起来就得到cat的分类损失。所以其他两类的损失是：

L(car)=max(0, 1.3-4.9+1)+max(0,2.0-4.9+1)=max(0, -2.6)+max(0,-1.9)=0+0=0(car分类正确因此损失为0）

L(dog)=max(0, 2.2-(-3.1)+1)+max(0,2.5-(-3.1)+1)=max(0,6.3)+max(0,6.6)=6.3+6.6=12.9(dog分类结果很糟糕所以损失值较大）

所以最终的损失值为L={L(cat)+L(car)+L(dog)}/3=(2.9+0+12.9)/3≈5.267