损失函数和正则化 Loss Function& Regularization

By Stockholm_Sun
我们来谈谈关于深度学习的概念，损失函数。
这次我将给出一些例子来解释。
(Slide From Stanford CS231n)

显然，现在的情况是：猫没有被正确分类，车是对的，青蛙完全错了。
为了使它们完全正确，我们引入了损失函数。现存的损失函数还是比较多样的，这里介绍两种。

SVM loss

SVM损失函数具有如下形式：

由于自变量的变化像一个合页，所以又被成为“合页函数”。其中，s_y_i表达的含义是正确分类对应的分数。接下来，我们以第一列为例，求一下Loss值：

Losses = max ( 0 , 5.1 - 3.2 + 1 ) + max ( 0 , -1.7 - 3.2 + 1 ) = 2.9

同理，第二、三列的Losses分别为 0 和 12.9 ，最终根据定义求得L值为 L = （ 2.9 + 0 + 12.9 ) / 3 = 5.27
L的大小也就衡量了模型的好坏，越小越好。而且不难得出，L取值范围为 [ 0 , INF ）。值得一提的是，上述公式中的为什么要在 s_j - s_y_i 的后面加一个1呢？实际上这个1是一个常数，一般在采用合页函数时就会+1，当然也可以加其它数字。

正则化 Regularization

试想一下，拟合训练集时如果每一个都严格的来拟合，那么对应产生的拟合模型会十分复杂，这实际上是不必要的，因此引入正则化来限制模型变得更复杂。
因此，正则化后L函数的真正的表达式如下：
λ是一个超参数，此外，需要提到的是几个R(W)的形式：

笼统来说，L2正则化保证了把大型错误放大，L1正则化则更喜欢权重矩阵更稀疏的表达。

Softmax Classifier

它对于每一个分数作出了如下处理：首先将其exp，然后归一化（在这里的表述就是求得权值），损失函数即为所得值的负自然对数，总结下来公式如下：

不难得出，L取值范围也是 [ 0 , INF ）
综上所述，最终的Loss可被归结表述为：