解剖caffe: Loss

在caffe中，正如大多机器学习那样，学习通过损失函数驱动（也常称作error, cost, 或objective function）。损失函数指定了学习的目标通过把网络权重映射到一个标量值来指定这些参数设置的“恶劣状态”。因此学习的目标就是发现权重的设置来最小化损失函数。

在caffe中，loss通过网络的前向传播计算。每一层使用输入blob（bottom）来产生输出blob(top)。这些层的输出的一部分就被用作损失函数。对于基于一对多分类任务的损失函数典型选择是SoftmaxWithLoss函数，在网络定义中类似下面的方式使用：

layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "pred"
  bottom: "label"
  top: "loss"
}

在一个SoftmaxWithLoss函数中，top blob是一个标量，在整个mini-batch上平均化损失（从预测的标签pred和实际的标签label）。

loss weights

对于具有多层产生损失的网络，例如一种网络使用SoftmaxWithLoss层分类输入和并同时使用EuclideanLoss层重构输入，loss weight能够用于指定相对重要性

按照惯例，type具有loss后缀的caffe层促成损失函数，但是其他层要被假定为纯碎用于中间计算。然而，任何层只要在layer定义中添加了loss_weight： <float>属性（层的top blob），就可以用作损失。具有loss后缀的layer对于第一个top blon具有隐含得loss_weight： 1，并且对于额外的tops是loss_weight： 0。其它层对于所有的tops，具有隐含的loss_weight： 0。因此上面的SoftmaxWithLoss能够等效的写成：

layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "pred"
  bottom: "label"
  top: "loss"
  loss_weight: 1
}

然而，能够反向传播的任何层可能被给予一个非零loss_weight，若必要的话，允许例如正则化网络中间层产生的激活。对于具有相关非零损失的非单例输出，计算损失简单地通过对blobs的全部求和。

caffe中最终的损失，通过对网络中所有的加权损失求和，伪代码表示如下：

loss := 0
for layer in layers:
  for top, loss_weight in layer.tops, layer.loss_weights:
    loss += loss_weight * sum(top)