caffe中backward过程总结

    backward是利用代价函数求取关于网络中每个参数梯度的过程，为后面更新网络参数做准备。求取梯度的过程也是一个矩阵运算的过程，后面会有详细介绍，本身求取梯度的过程并不是很复杂，而且网络中的各层求取梯度的过程都是相似的。下面就按照backward的运行顺序，从最后一层向前介绍caffe的backward的过程。

1. softmax with loss layer：
   按理说每一层应该都要求一层梯度，其中包括对权值，对输入数据，对偏置分别求取梯度。但是在softmax with loss layer这一层求取梯度的一些过程被省去了，首先这一次只是一个激活函数层，没有权值和偏置参数，然后我们只需要对输入数据求取梯度，softmax with loss layer的输入数据其实表示的是原始输入数据相对于各个标签的打分，而对于代价函数对这个输入的梯度已经有专门的迭代算法来求解。参考：http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92。
   caffe中的程序对应如下：

   for (int i = 0; i < outer_num_; ++i) {
         for (int j = 0; j < inner_num_; ++j) {
           const int label_value = static_cast<int>(label[i * inner_num_ + j]);
           if (has_ignore_label_ && label_value == ignore_label_) {
             for (int c = 0; c < bottom[0]->shape(softmax_axis_); ++c) {
               bottom_diff[i * dim + c * inner_num_ + j] = 0;
             }
           } else {
             bottom_diff[i * dim + label_value * inner_num_ + j] -= 1; //http://ufldl.stanford.edu/wiki/index.php/Softmax
             ++count;
           }
         }
       }