CenterLoss的caffe实现与深入理解

最新推荐文章于 2020-05-21 20:33:24 发布

置顶 Holo-bo

最新推荐文章于 2020-05-21 20:33:24 发布

阅读量3.7k

点赞数

分类专栏：深度学习 loss函数总结文章标签： centerloss 理解centerloss

本文链接：https://blog.csdn.net/zbzb1000/article/details/81001546

版权

深度学习同时被 2 个专栏收录

10 篇文章 1 订阅

订阅专栏

loss函数总结

3 篇文章 0 订阅

订阅专栏

CenterLoss的caffe实现与深入理解

目的：

打算将centerloss与SSD的multibox_loss融合，或者与faster-rcnn的softmax回归融合。
项目代码将会发布到：https://github.com/BOBrown

思路概述：

paper title:A Discriminative Feature Learning Approach for Deep Face Recognition

Centerloss发表于ECCV2016，研究内容是关于如何学习到更具判别力的特征，如类内聚较小的特征。

作者github : https://github.com/ydwen/caffe-face
文章: 如果arXiv下载慢可以去我的网盘下载， https://pan.baidu.com/s/1up_PWpR85HqVe10yhFzHoQ

这里引用文章中的截图来简要介绍文章思路。

这里写图片描述

上述图片显示了一个维度是2的特征向量在特征空间上的表现，第一张图是没有加入center loss的原始神经网络训练得到的特征向量的可视化结果。（之所以选用2维的向量是因为可视化方便）

加入center loss之后随着 $\lambda$ 增大，学习到的同一个类别的特征向量在空间距离就越靠近，因此类间聚就会增大。

数学方法与caffe实现：

1.forward

这里写图片描述

上述公式 $m$ 是指sample个数，例如batch size=128那么 $m=128$ ,文章中说mini-batch的学习centerloss的方式更容易使centerloss收敛。 $c_{y_i}$ 是第i个样本的center。

这里center的含义是：有多少个输出类别就会有多少个center向量，其中每一个center向量与 $x_i$ 的维度相同。

当然，公式(2)也可以由向量内积的形式进一步写成为公式(3)，其中 $x^i_j$ 表示第i个样本的第j个维度的数值， $c^{y_i}_j$ 表示第i个样本的center是 $y_i$ 类别的center，这个center的第j个维度：

L C = 1 2 \sum i = 1 m \sum j = 1 K (x i j - c y i j) 2 （ 3 ）

$L_C = \frac{1}{2} \sum_{i=1}^m \sum_{j=1}^{K} ( x^i_j - c^{y_i}_j ) ^2 （3）$

那么实现中也是按照公式(3)来完成forward的计算:

template <typename Dtype>
void CenterLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  const Dtype* bottom_data = bottom[0]->cpu_data();
  const Dtype* label = bottom[1]->cpu_data();
  const Dtype* center = this->blobs_[0]->cpu_data();
  Dtype* distance_data = distance_.mutable_cpu_data();//distance_这个blob保存x^i_j - c^{y_i}_j

  // the i-th distance_data
  for (int i = 0; i < M_; i++) {
    const int label_value = static_cast<int>(label[i]);
    // D(i,:) = X(i,:) - C(y(i),:)
    caffe_sub(K_, bottom_data + i * K_, center + label_value * K_, distance_data + i * K_);//相减赋值给distance_data 
  }
  Dtype dot = caffe_cpu_dot(M_ * K_, distance_.cpu_data(), distance_.cpu_data());//在M_ * K_维度进行内积，也就是平方和
  Dtype loss = dot / M_ / Dtype(2); 归一化loss
  top[0]->mutable_cpu_data()[0] = loss;
}

2.Backward

Backward负责计算bottom[0]->mutable_cpu_diff()和this->blob[0]_->mutable_cpu_diff(),后面这个也叫weights_diff，是带参网络层所特有的一个blob。
在center_loss_layer.cpp和.cu代码中，this->blobs_[0]就是指代center，因为center是通过样本学习到的参数。在Backward中需要考虑center这个参数的梯度以及对bottom_data的梯度。

（1）求对bottom data的梯度：
这个比较简单，按照公式（3），对 $x^i_j$ 的偏导如下：

\partial L \partial x i j = 1 m \sum i = 1 m [x i j - c y i j] （ 4 ）

$\frac{\partial L}{\partial x^i_j} = \frac{1}{m} \sum_{i=1}^m [x^i_j - c^{y_i}_j] （4）$

代码，需要注意top[0]->cpu_diff()[0]是惩罚项系数：

if (propagate_down[0]) {
    caffe_copy(M_ * K_, distance_.cpu_data(), bottom[0]->mutable_cpu_diff());
    caffe_scal(M_ * K_, top[0]->cpu_diff()[0] / M_, bottom[0]->mutable_cpu_diff());//此处top diff是loss weights，也就是惩罚项
  }

(2) 求对weight diff的梯度：
公式：
这里写图片描述

解释上述公式: $c_j$ 表示第j个center向量，center向量的个数与类别数相关，有N个类别，就有N个center向量。
在梯度更新时，并不是更新全部的center向量，而是更新这个mini-batch抓取到的类别index对应的center向量，因此存在 $\delta(y_i = j)$ 的判断。分母是归一化梯度处理，本来是除以 $\sum {i=1}^m \delta(y_i = j)$ 就可以了。但是为了防止有的 $c_j$ 向量没有出现在这次的mini-batch中，这样会导致分母为0，因此采用 $1+\sum {i=1}^m \delta(y_i = j)$ 的归一形式。

代码部分：

caffe_set(N_ * K_, (Dtype)0., variation_sum_.mutable_cpu_data());//variation_sum_是临时变量
    for (int n = 0; n < N_; n++) {//N表示类别数，每一个c_j向量都需要进行梯度求解
      int count = 0;
      for (int m = 0; m < M_; m++) {
        const int label_value = static_cast<int>(label[m]);
        if (label_value == n) {
          count++;
          caffe_sub(K_, variation_sum_data + n * K_, distance_data + m * K_, variation_sum_data + n * K_);
        }
      }
      caffe_axpy(K_, (Dtype)1./(count + (Dtype)1.), variation_sum_data + n * K_, center_diff + n * K_);
    }
  }