hinge loss（损失函数）详解

hinge loss：支持向量机损失函数
1.对于训练集中的第$i$张图片数据$x_i$,在$W$下会有一个得分结果向量$f(x_i,W)$;
2.第$j$类的得分我们记作$f(x_i,W{)}_j$;
3.则在该样本上的损失，我们由下列的公式可以计算得到$$L_i=\sum _{j̸=y_i}max(0,f(x_i,W{)}_j-f(x_i,W{)}_{y_i}+△)\text{\hspace{1em}(1)}$$
建设我们现在有三个类别，而得分函数计算某张图片的得分为$f(x_i,W)=[13,-7,11]$,而实际的结果是第一类（$y_i=0$)。假设$△=10$,上面的公式把错误类别（$j$不等于$y_i$）都遍历类一遍。求值加和：$$L_i=max(0,-7-13+10)+max(0,11-13+10)\text{\hspace{1em}(2)}$$
其中，$△$相当于SVM中的分离“道”的宽度。

因为是线性模型，因此可以简化成：
$$L_i=\sum _{j̸=y_i}max(0,w_j^T{x}_i-w_{y_i}^T{x}_i+△)\text{\hspace{1em}(3)}$$
加正则化项$$L=\frac{1}{N}\sum _i{L}_i+\lambda R(W)\text{\hspace{1em}(4)}$$其中$\frac{1}{N}{\sum }_i{L}_i$为data loss，$\lambda R(W)$为正则化损失。

将（4）式展开得:$$L=\frac{1}{N}\sum _i\sum _{j̸=y_i}[max(0,f(xi;W{)}_j-f(x_i;W{)}_{y_i}+△)]+\lambda \sum _k\sum _l$$

正确分类的分值越大越好，错误分类的分值越小越好。