SVM常用损失函数

Hinge Loss

表达式为：
$$L_i=\sum _{j\ne y_i}max(0,s_j-s_{y_i}+1)$$
实际上可以写成：
$$f(n)=\sum _{j\ne y_i}\{\begin{array}{ll}0,& \text{if syi>sj+1}\\ s_j-s_{y_i}+1,& \text{otherwise}\end{array}$$
其中$s_{y_i}$是指第$i$个样本的对应的其正确标签的得分，$s_j$是指这个样本对应的第$j$个标签的得分。
即对于第$i$个样本，有：
$$s_j=f(x_i;W{)}_j$$
$$s_{y_i}=f(x_i;W{)}_{y_i}$$
比如下图中，对三张图片进行分类，一共有$cat,car,frog$三类。每张图片对应的每个类别的得分如下：
则对于第一张图片，它的hinge loss 为：
$$(5.1-3.2+1)+0=2.9$$
对于第二张图片，它的hinge loss 为：
$$0+0=0$$
对于第三张图片，它的hinge loss 为：
$$(2.2-(-3.1)+1)+(2.5-(-3.1)+1)=12.9$$
所以对于这个包含三张图片的数据集来说，其hinge loss为：
$$L=\frac{1}{N}\sum _{i=1}^N{L}_i$$
$$=(2.9+0+12.9)/3=5.27$$
注：使$L=0$的权重$W$并不唯一，如$2W$同样可以使损失为0。
我们关心的是分类器在测试集而不是训练集中的效果，所以为了防止过拟合，我们使用正则化。
$$L=\frac{1}{N}\sum _{i=1}^N\sum _{j\ne y_i}max(0,f(x_i;W{)}_j-f(x_i;W{)}_{y_i}+1)+\lambda R(W)$$
$L2$正则化中，$R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$。
$L1$正则化中，$R(W)={\sum }_k{\sum }_l|W_{k,l}|$。
弹性网络($Elasticnet$)正则化中，$R(W)={\sum }_k{\sum }_l\beta W_{k,l}^2+|W_{k,l}|$。(其实就是$L1+L2$)

Softmax loss

输入$x_i$时，将一张图片定义为第$k$个标签的概率为$P(Y=k|X=x_i)=\frac{e^{s}k}{{\sum }_j{e}^{s}j}$，其中$s=f(x_i;W)$。
定义$L_i=-logP(Y=y_i|X=x_i)=-log(\frac{e^{s}k}{{\sum }_j{e}^{s}j})$。
具体计算过程如下图：
同样地，对于$softmax$，正则化同样适用解决过拟合问题。