loss function总结

hinge loss:

Given an example $(x_{i}, y_{i})$, where the $x_{i}$ is the image and where $y_{i}$ is the integer label.
and using the shorthand for the scores vector: $s=f(x_{i},W）$
the SVM loss has the form:
$L_i= \sum\ _{j != y_i} max(0,S_j-S_{y_i}+1)$ ,其中$S_{y_i}$代表正确分类的预测值
也就是说损失函数的定义，是想要正确分类的分数远比其他类别的分数高。

正则化:

L1 正则化：$J(\theta)=[y_\theta(x)-y]^2+[|\theta_1|+|\theta_2|+...]$
L2 正则化：$J(\theta)=[y_\theta(x)-y]^2+[\theta_1^2+\theta_2^2+...]$
西瓜书252-253页有介绍，L1范数有利于得到稀疏解，求到的权值会有更少的非零分量。

softmax loss:

多项逻辑回归损失