caffe-损失层-SoftmaxWithLossLayer 和SoftmaxLayer

最新推荐文章于 2023-12-28 15:03:41 发布
最新推荐文章于 2023-12-28 15:03:41 发布
阅读量632 收藏 1
点赞数
分类专栏： caffe 文章标签： 函数

类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将64*10的bottom_data，通过计算得到64*10的top_data。这可以理解为输入数据为64个样本，每个样本特征数量为10，计算这64个样本分别在10个类别上的概率。公式如下，其中n=10，

f(zk)=ezk∑nezi=ezk−m∑nezi−m,m=max(zi)

SoftmaxWithLossLayer层利用SoftmaxLayer层的输出计算损失，公式如下，其中N为一个batch的大小（MNIST训练时batch_size为64，测试时batch_size为100）。 根据Cross-Entropy的定义有， 

loss=−logf(zk)

反向传导时，计算偏导 

loss=−logf(zk)=log(∑nezi)−zk

∂loss∂zj=⎧⎩⎨ezj∑nezi−1=f(zj)−1ezj∑nezi=f(zj)zj=zkzj≠zk

需要注意的一点是，在反向传导时SoftmaxWithLossLayer层并没有向正向传导时借用SoftmaxLayer层实现一部分，而是一手全部包办了。因此SoftmaxLayer::Backward_cpu()函数也就被闲置了。

如果网络在训练期间发散了，则最终计算结果accuracy ≈ 0.1（说明机器完全没有预测精度，纯靠蒙）, loss ≈-log(0.1) = 2.3026。如果大家看见loss为2.3左右，就应该了解当前网络没有收敛，需要调节参数配置。至于怎么调节嘛，这往往就依赖经验了……

几个类的类关系图如下图所示， 
SoftmaxLayer类图

为了搞清楚传导的流程，我们首先看下SoftmaxLayer是如何工作的，头文件为softmax_layer.hpp

template <typename Dtype>
class SoftmaxLayer : public Layer<Dtype> {
 public:
  explicit SoftmaxLayer(const LayerParameter& param)
      : Layer<Dtype>(param) {}
  virtual void Reshape(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);

  virtual inline const char* type() const { return "Softmax"; }
  virtual inline int ExactNumBottomBlobs() const { return 1; }
  virtual inline int ExactNumTopBlobs() const { return 1; }

 protected:
  // 重载CPU和GPU正反向传导虚函数
  virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);
  virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);
  virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,
      const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);
  virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,
     const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);

  int outer_num_;
  int inner_num_;
  int softmax_axis_;
  /// 乘子
  Blob<Dtype> sum_multiplier_;
  /// scale is an intermediate Blob to hold temporary results.
  Blob<Dtype> scale_;
};
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

这里的sum_multiplier_一样全部被初始化为1了的。而scale_的大小尺寸有点奇怪，在批处理的时候通常都会有num这个东西来表示数量，而scale又是单通道的。

大概是要将所有通道的数据的计算结果全部放在一起吧。


实现在softmax_layer.cpp文件中，

template <typename Dtype>
void SoftmaxLayer<Dtype>::Reshape(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top) {
  softmax_axis_ =
      bottom[0]->CanonicalAxisIndex(this->layer_param_.softmax_param().axis());
  top[0]->ReshapeLike(*bottom[0]);
  vector<int> mult_dims(1, bottom[0]->shape(softmax_axis_));
  sum_multiplier_.Reshape(mult_dims);
  Dtype* multiplier_data = sum_multiplier_.mutable_cpu_data();
  // 乘子初始化为1
  caffe_set(sum_multiplier_.count(), Dtype(1), multiplier_data);
  outer_num_ = bottom[0]->count(0, softmax_axis_);
  inner_num_ = bottom[0]->count(softmax_axis_ + 1);
  vector<int> scale_dims = bottom[0]->shape();
  scale_dims[softmax_axis_] = 1;
  scale_.Reshape(scale_dims);
}

// CPU正向传导
template <typename Dtype>
void SoftmaxLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,
    const vector<Blob<Dtype>*>& top) {
  const Dtype* bottom_data = bottom[0]->cpu_data();
  Dtype* top_data = top[0]->mutable_cpu_data();
  Dtype* scale_data = scale_.mutable_cpu_data();
  int channels = bottom[0]->shape(softmax_axis_);
  int dim = bottom[0]->count() / outer_num_;
  caffe_copy(bottom[0]->count(), bottom_data, top_data);
  // 遍历bottom_data查找最大值，存入scale_data
  for (int i = 0; i < outer_num_; ++i) {
    // 初始化scale_data为bottom_data首元素
    caffe_copy(inner_num_, bottom_data + i * dim, scale_data);
    for (int j = 0; j < channels; j++) {
      for (int k = 0; k < inner_num_; k++) {
        scale_data[k] = std::max(scale_data[k],
            bottom_data[i * dim + j * inner_num_ + k]);
      }
    }
    // 减去最大值（top_data = bottom_data - max(bottom_data)）
    caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, channels, inner_num_,
        1, -1., sum_multiplier_.cpu_data(), scale_data, 1., top_data);
    // exp求幂
    caffe_exp<Dtype>(dim, top_data, top_data);
    // 累加求和，存放在scale_data中
    caffe_cpu_gemv<Dtype>(CblasTrans, channels, inner_num_, 1.,
        top_data, sum_multiplier_.cpu_data(), 0., scale_data);
    // division
    for (int j = 0; j < channels; j++) {
      // top_data = top_data / scale_data
      caffe_div(inner_num_, top_data, scale_data, top_data);
      // 加偏移跳转指针
      top_data += inner_num_;
    }
  }
}
 
 
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85

从代码中可以看到，反向的时候，批处理中每个图像是分别处理的：

先将某个图像按照通道维度计算最大值，存入scale_data中，所以感觉上scale_data只需要height*width大小的存储空间就够了，但是实际上却开辟了num*height*width。

这里的反向计算过程中可能与斯坦福的介绍稍微有点差别，不过原理上都是一样的，这里的反向计算如下：

假设某一个图像在某一个(channel, height, width)的坐标上的数据为x，在通道(channel, :, :)上的最大值为x_max；

在for后面的两个小for里面就是计算这个x_max；

之后的计算可以理解成遍历该通道的所有数据：(实际上是所有通道一起计算的)

之后再计算： x - x_max；

再之后计算指数：exp(x-x_max)；

在求和这些指数：sum(x: exp(x-x_max))；

最后再用除法，即：


在源码中解释道了为什么要减去最大值，这是因为避免所谓的“数值问题”，那么到底是什么问题呢？我们知道指数函数是一个严格递增的函数，如果直接使用x的话，可能会造成大数吃小数的问题，因为sum的分母会因为某一个x很大而整体很大，其余的很多小x都会因此变得非常小。估计源码中说到的就是这个问题吧。

整个反向过程看完了，还是不明白为啥scale_data开辟的空间会比实际使用的大很多呢？

// CPU反向传导（此函数未被调用）
template <typename Dtype>
void SoftmaxLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down,
    const vector<Blob<Dtype>*>& bottom) {
  const Dtype* top_diff = top[0]->cpu_diff();
  const Dtype* top_data = top[0]->cpu_data();
  Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();
  Dtype* scale_data = scale_.mutable_cpu_data();
  int channels = top[0]->shape(softmax_axis_);
  int dim = top[0]->count() / outer_num_;
  caffe_copy(top[0]->count(), top_diff, bottom_diff);
  for (int i = 0; i < outer_num_; ++i) {
    // 计算top_diff和top_data的点积
    for (int k = 0; k < inner_num_; ++k) {
      scale_data[k] = caffe_cpu_strided_dot<Dtype>(channels,
          bottom_diff + i * dim + k, inner_num_,
          top_data + i * dim + k, inner_num_);
    }
    // 从bottom_diff减去该值
    caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, channels, inner_num_, 1,
        -1., sum_multiplier_.cpu_data(), scale_data, 1., bottom_diff + i * dim);
  }
  // 逐点相乘
  caffe_mul(top[0]->count(), bottom_diff, top_data, bottom_diff);

  // 以上步骤等价于bottom_diff = top_diff * (top_data - top_data * top_data)
  // 此公式更容易推导和理解
}
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85

反向的过程其实很优雅，说优雅是因为softmax本身就非常优雅，看似很复杂的函数表达式，导数的计算确实非常的简便：

所以，误差传递过程是：

这个误差传递的过程，也是源码的计算思路过程：

先直接将top_diff存入bottom_diff中；

再计算这个误差与top_data的乘积存放在scale_data中；

在计算误差减掉scale_data，还是存放在bottom_diff中；

最后再计算bottom_diif与top_data的乘积，存入bottom_diff中。


再回过来看SoftmaxWithLossLayer的源代码，先看一下它的基类LossLayer是如何实现的。

template <typename Dtype>
class LossLayer : public Layer<Dtype> {
 public:
  explicit LossLayer(const LayerParameter& param)
     : Layer<Dtype>(param) {}
  virtual void LayerSetUp(
      const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top);
  virtual void Reshape(
      const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top);

  virtual inline int ExactNumBottomBlobs() const { return 2; }

  // 自动添加top blob
  virtual inline bool AutoTopBlobs() const { return true; }
  virtual inline int ExactNumTopBlobs() const { return 1; }

  virtual inline bool AllowForceBackward(const int bottom_index) const {
    return bottom_index != 1;
  }
};
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20

cpp实现如下，

template <typename Dtype>
void LossLayer<Dtype>::LayerSetUp(
    const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  // LossLayers have a non-zero (1) loss by default.
  if (this->layer_param_.loss_weight_size() == 0) {
    this->layer_param_.add_loss_weight(Dtype(1));
  }
}

template <typename Dtype>
void LossLayer<Dtype>::Reshape(
    const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  CHECK_EQ(bottom[0]->num(), bottom[1]->num())
      << "The data and label should have the same number.";
  vector<int> loss_shape(0);  // Loss layers output a scalar; 0 axes.
  top[0]->Reshape(loss_shape);
}
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

再看一下子类SoftmaxWithLossLayer的实现，

template <typename Dtype>
class SoftmaxWithLossLayer : public LossLayer<Dtype> {
 public:
  // 构造函数
  explicit SoftmaxWithLossLayer(const LayerParameter& param)
      : LossLayer<Dtype>(param) {}
  virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);
  virtual void Reshape(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);

  virtual inline const char* type() const { return "SoftmaxWithLoss"; }
  virtual inline int ExactNumTopBlobs() const { return -1; }
  virtual inline int MinTopBlobs() const { return 1; }
  virtual inline int MaxTopBlobs() const { return 2; }

 protected:
  // 重载CPU和GPU正反向传导虚函数
  virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);
  virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top);

  virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,
      const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);
  virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,
      const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);

  // 返回归一化计数
  virtual Dtype get_normalizer(
      LossParameter_NormalizationMode normalization_mode, int valid_count);

  /// SoftmaxLayer类实例
  shared_ptr<Layer<Dtype> > softmax_layer_;
  /// prob_作为SoftmaxLayer的输出blob
  Blob<Dtype> prob_;
  /// 指针指向bottom[0]，作为SoftmaxLayer的输入blob
  vector<Blob<Dtype>*> softmax_bottom_vec_;
  /// 指针指向prob_
  vector<Blob<Dtype>*> softmax_top_vec_;
  /// 标识位，是否忽略标签
  bool has_ignore_label_;
  /// 被忽略的标签值
  int ignore_label_;
  /// 标识如何归一化loss
  LossParameter_NormalizationMode normalization_;

  // 维数、输出样本数
  int softmax_axis_, outer_num_, inner_num_;
};
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50

softmax_loss_layer.cpp定义如下，

template <typename Dtype>
void SoftmaxWithLossLayer<Dtype>::LayerSetUp(
    const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  LossLayer<Dtype>::LayerSetUp(bottom, top);
  LayerParameter softmax_param(this->layer_param_);
  softmax_param.set_type("Softmax");
  // 创建SoftmaxLayer层
  softmax_layer_ = LayerRegistry<Dtype>::CreateLayer(softmax_param);
  softmax_bottom_vec_.clear();
  // bottom[0]作为SoftmaxLayer层输入
  softmax_bottom_vec_.push_back(bottom[0]);
  softmax_top_vec_.clear();
  // prob_作为SoftmaxLayer层输出
  softmax_top_vec_.push_back(&prob_);
  // 建立SoftmaxLayer层
  softmax_layer_->SetUp(softmax_bottom_vec_, softmax_top_vec_);

  has_ignore_label_ =
    this->layer_param_.loss_param().has_ignore_label();
  if (has_ignore_label_) {
    // 如果支持忽略标签，则读取被忽略标签的值
    ignore_label_ = this->layer_param_.loss_param().ignore_label();
  }
  // 确定归一化计数方式
  if (!this->layer_param_.loss_param().has_normalization() &&
      this->layer_param_.loss_param().has_normalize()) {
    normalization_ = this->layer_param_.loss_param().normalize() ?
                     LossParameter_NormalizationMode_VALID :
                     LossParameter_NormalizationMode_BATCH_SIZE;
  } else {
    normalization_ = this->layer_param_.loss_param().normalization();
  }
}

template <typename Dtype>
void SoftmaxWithLossLayer<Dtype>::Reshape(
    const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  LossLayer<Dtype>::Reshape(bottom, top);
  softmax_layer_->Reshape(softmax_bottom_vec_, softmax_top_vec_);
  softmax_axis_ =
      bottom[0]->CanonicalAxisIndex(this->layer_param_.softmax_param().axis());
  outer_num_ = bottom[0]->count(0, softmax_axis_);
  inner_num_ = bottom[0]->count(softmax_axis_ + 1);
  CHECK_EQ(outer_num_ * inner_num_, bottom[1]->count())
      << "Number of labels must match number of predictions; "
      << "e.g., if softmax axis == 1 and prediction shape is (N, C, H, W), "
      << "label count (number of labels) must be N*H*W, "
      << "with integer values in {0, 1, ..., C-1}.";
  if (top.size() >= 2) {
    // softmax output
    top[1]->ReshapeLike(*bottom[0]);
  }
}

// 返回归一化计数
template <typename Dtype>
Dtype SoftmaxWithLossLayer<Dtype>::get_normalizer(
    LossParameter_NormalizationMode normalization_mode, int valid_count) {
  Dtype normalizer;
  switch (normalization_mode) {
    case LossParameter_NormalizationMode_FULL:
      // 返回全部输出样本数
      normalizer = Dtype(outer_num_ * inner_num_);
      break;
    case LossParameter_NormalizationMode_VALID:
      if (valid_count == -1) {
        normalizer = Dtype(outer_num_ * inner_num_);
      } else {
        // 只返回有效统计的样本数
        normalizer = Dtype(valid_count);
      }
      break;
    case LossParameter_NormalizationMode_BATCH_SIZE:
      normalizer = Dtype(outer_num_);
      break;
    case LossParameter_NormalizationMode_NONE:
      normalizer = Dtype(1);
      break;
    default:
      LOG(FATAL) << "Unknown normalization mode: "
          << LossParameter_NormalizationMode_Name(normalization_mode);
  }
  // 防止使用不带标签的数据出现归一化计数为0，从而导致分母为零
  return std::max(Dtype(1.0), normalizer);
}

// CPU正向传导
template <typename Dtype>
void SoftmaxWithLossLayer<Dtype>::Forward_cpu(
    const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) {
  // 先对SoftmaxLayer层正向传导
  softmax_layer_->Forward(softmax_bottom_vec_, softmax_top_vec_);
  const Dtype* prob_data = prob_.cpu_data();
  const Dtype* label = bottom[1]->cpu_data();
  int dim = prob_.count() / outer_num_;
  int count = 0;
  Dtype loss = 0;
  for (int i = 0; i < outer_num_; ++i) {
    for (int j = 0; j < inner_num_; j++) {
      // 取出真实标签值
      const int label_value = static_cast<int>(label[i * inner_num_ + j]);
      if (has_ignore_label_ && label_value == ignore_label_) {
        continue;
      }
      DCHECK_GE(label_value, 0);
      DCHECK_LT(label_value, prob_.shape(softmax_axis_));
      // 从SoftmaxLayer层输出(prob_data)中，找到与标签值对应位的预测概率，对其取-log，并对batch_size个值累加
      loss -= log(std::max(prob_data[i * dim + label_value * inner_num_ + j],
                           Dtype(FLT_MIN)));
      ++count;
    }
  }
  // loss除以样本总数batch，得到平均单个样本的loss
  top[0]->mutable_cpu_data()[0] = loss / get_normalizer(normalization_, count);
  if (top.size() == 2) {
    top[1]->ShareData(prob_);
  }
}

// CPU反向传导
template <typename Dtype>
void SoftmaxWithLossLayer<Dtype>::Backward_cpu(const vector<Blob<Dtype>*>& top,
    const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom) {
  if (propagate_down[1]) {
    LOG(FATAL) << this->type()
               << " Layer cannot backpropagate to label inputs.";
  }
  if (propagate_down[0]) {
    Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();
    const Dtype* prob_data = prob_.cpu_data();
    // 先将正向传导时计算的prob_数据(f(y_k))拷贝至偏导
    caffe_copy(prob_.count(), prob_data, bottom_diff);
    const Dtype* label = bottom[1]->cpu_data();
    int dim = prob_.count() / outer_num_;
    int count = 0;
    for (int i = 0; i < outer_num_; ++i) {
      for (int j = 0; j < inner_num_; ++j) {
        const int label_value = static_cast<int>(label[i * inner_num_ + j]);
        // 如果为忽略标签，则偏导为0
        if (has_ignore_label_ && label_value == ignore_label_) {
          for (int c = 0; c < bottom[0]->shape(softmax_axis_); ++c) {
            bottom_diff[i * dim + c * inner_num_ + j] = 0;
          }
        } else {
          // 计算偏导，预测正确的bottom_diff = f(y_k) - 1，其它不变
          bottom_diff[i * dim + label_value * inner_num_ + j] -= 1;
          ++count;
        }
      }
    }
    // top[0]->cpu_diff()[0] = 1.0，已在SetLossWeights()函数中初始化
    Dtype loss_weight = top[0]->cpu_diff()[0] /
                        get_normalizer(normalization_, count);
    // 将bottom_diff归一化
    caffe_scal(prob_.count(), loss_weight, bottom_diff);
  }
}

反向传导时，计算偏导 

loss=−logf(zk)=log(∑nezi)−zk

∂loss∂zj=⎧⎩⎨ezj∑nezi−1=f(zj)−1ezj∑nezi=f(zj)zj=zkzj≠zk

需要注意的一点是，在反向传导时SoftmaxWithLossLayer层并没有向正向传导时借用SoftmaxLayer层实现一部分，而是一手全部包办了。因此SoftmaxLayer::Backward_cpu()函数也就被闲置了。


ShenBoosting
关注
专栏目录
caffe层解析之softmaxwithloss层
Iriving_shu的博客
11-22 1万+
理论caffe中的softmaxWithLoss其实是： softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer 其核心公式为： 其中，其中y^为标签值，k为输入图像标签所对应的的神经元。m为输出的最大值，主要是考虑数值稳定性。 反向传播时： 对输入的zj进行求导得： Caffe中使用首先在Caff
caffe-ssd-mobilenet:包含Caffe-SSD-Mobilenet(DepthwiseConvolution) 和 Caffe-SSD 和 Classification
05-09
caffe-mobilenet-ssd 测试前向网络速度 $ cd ~/caffe $ ./build/tools/caffe time -gpu 0 -model examples/mobilenet/XXXX.prototxt Intro 包含Caffe-SSD-Mobilenet 一、环境搭建： （1）和编译Caffe一样 1....
caffe2 Softmax, SoftmaxWithLoss 使用
gaomingda的博客
05-31 1040
本文主要记录caffe2的Softmax与SoftmaxWithLoss op 如何使用(输入格式), 特别介绍如何应用在FCN的语义分割中. 1 Softmax 输入:2D, 但可以不是,计算时代码会强制转换 输出: 与输入相同的维度 arg:axis 默认等于1, 其实没太搞懂 在FCN的输出probs时以下操作, 直接上测试的代码 from caffe2.python imp...
Caffe: Softmax_Loss layer
ayst123 的专栏
03-06 1739
先占坑，以后补全。今天遇到softmax_loss Layer的问题，在网上找到Chiyuan Zhang学长的这篇文章。终于明白了为什么在计算中它会减去最大的一个值。有时间要自己搞清楚, 再写下来。
理解softMaxWithLoss层
weixin_30685029的博客
08-08 393
　　为了更好的理解SoftMaxWithLossLayer, 绘制了如上的示意图，SoftMaxWithLossLayer主要使用了两个概率统计原理：逻辑回归和最大似然估计。 　　逻辑回归对应于SoftMax,其将神经网络的输出特征（即output输出的一串数字，有多少个种类就有多少个数字）转化成概率。这样做的好处有： 　　1、保证数字越大概率越大； 　　2、得到的所有类的所占概率之...
caffe中的softmax layer
热门推荐
Buyi_Shizi的博客
05-25 1万+
在caffe中的lenet实现最后一层是softmax layer，输出分类的结果，下面就简单介绍一下softmax回归。     1，首先，在caffe中，softmax layer输出的是原始的输入在每一个分类标签上的概率，例如在lenet网络中，输出的分类共有0-9的10中分类，那么softmax layer就会输出含有10个元素的向量，每一个元素表示输入在每一个分类上的概率。
caffe-model-zoo:Caffe预训练模型和原型
05-11
在实际应用中，Caffe-model-zoo对于研究人员和开发者来说是一个宝贵的资源，因为它提供了现成的解决方案，使他们能够快速地进行原型验证和实验。同时，它也促进了深度学习技术在学术和工业界的发展。通过了解并使用...
caffe-layer-code:只需备份caffe python层代码
05-01
本资源“caffe-layer-code”显然关注的是Caffe框架中的Python层实现，这对于理解和自定义Caffe模型是非常重要的。在Caffe中，Python层允许用户用Python编写网络层，提供了更大的灵活性，特别是在实验新想法、数据...
imagenet-caffe-alex.mat
01-15
5. **MATLAB 应用**："imagenet-caffe-alex.mat" 文件很可能是Caffe训练的AlexNet模型在MATLAB环境中的权重和参数保存形式。MATLAB提供了对深度学习模型的支持，包括加载预训练的模型、进行前向传播预测、微调模型等...
caffe-windows
10-12
在 Windows 操作系统上安装 Caffe 可能相对复杂，但通过提供的“caffe-windows”压缩包，我们可以简化这一过程，支持 GPU 或 CPU 模式，并使用 Visual Studio 2015 进行编译。 ### Caffe 的核心特点 1. **速度与...
caffe softmax_loss layer 解析
weixin_NineDays66
06-22 789
按理说每一层应该都要求一层梯度，其中包括对权值，对输入数据，对偏置分别求取梯度。但是在softmax with loss layer这一层求取梯度的一些过程被省去了，首先这一次只是一个激活函数层，没有权值和偏置参数，然后我们只需要对输入数据求取梯度，softmax with loss layer的输入数据其实表示的是原始输入数据相对于各个标签的打分，而对于代价函数对这个输入的梯度已经有专门的迭代算...
caffe softmax_layer
无左无右的博客
03-07 900
Sofamax将输出映射成概率，在（0,1）之间。以lenet为例子.如下图: 简化图: Softmax数学公式 一张网上的前向图看起来一目了然: #include #include #include “caffe/layers/softmax_layer.hpp” #include “caffe/util/math_functions.hpp” namespace caffe { temp...
DL之SoftmaxWithLoss：SoftmaxWithLoss算法(Softmax+交叉熵误差)简介、使用方法、应用案例之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-29 8633
DL之SoftmaxWithLoss：SoftmaxWithLoss算法(Softmax函数+交叉熵误差)简介、使用方法、应用案例之详细攻略 目录 SoftmaxWithLoss算法简介 1、Softmax-with-Loss层的计算图 2、正向传播 3、反向传播 4、总结 SoftmaxWithLoss算法使用方法 SoftmaxWithLoss算法...
caffe SoftmaxWithLossLayer
无左无右的博客
03-11 512
lenet为例:: SoftmaxWithLossLayer在前向的时候调用softmax计算概率.类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将6410的bottom_data，通过计算得到6410的top_data。这可以理解为输入数据为64个样本，每个样本特征数量为10，计算这64个样本分别在10个类别上的概率...
深度学习入门（python）考试速成之Softmax-with-Loss层
最新发布
m0_62110645的博客
12-28 763
正向传播时若有分支流出，则反向传播时它们的反向传播的值会相加。因此，这里分成了三支的反向传播的值。然后， 还要对这个相加后的值进行“/”节点的反向传播，结果为。假设正确解标签索引为“2”，与之对应的神经网络输出是0.6，则交叉熵误差为。前面的层（Cross Entropy Error层）的反向传播的值传过来。中只有正确解标签（表示）索引为1，其他均为0（one-hot表示）是教师标签，也是one-hot向量。若“2”对应的输出是0.1，则交叉熵误差为。是传给Softmax层的反向传播的输入。
SoftmaxLayer and SoftmaxwithLossLayer 代码解读
a1424262219的博客
05-12 103
SoftmaxLayer and SoftmaxwithLossLayer 代码解读 Wang Xiao 　　先来看看SoftmaxWithLoss 在prototext文件中的定义： 1 layer { 2 name: "loss" 3 type: "SoftmaxWithLoss" 4 bottom: "fc8" 5 bottom: "label"...
SoftmaxWithLossLayer 详细讲解
luo2007专栏Gods determine what you're going to be！
11-02 712
SoftmaxWithLossLayer 原理分析及caffe代码实现
Softmax-with-Loss层的计算图 | Softmax梯度推导 | Loss损失函数
swjtu_pl的博客
05-01 1423
Softmax-with-Loss层的计算图
Caffe 代码解读之 softmax layer
bailufeiyan的博客
03-13 8690
转自http://zhangliliang.com/2015/05/27/about-caffe-code-softmax-loss-layer/ 关于softmax回归 看过最清晰的关于softmax回归的文档来源自UFLDL，简单摘录如下。 softmax用于多分类问题，比如0-9的数字识别，共有10个输出，而且这10个输出的概率和加起来应该为1，所以可以用一个softmax操作归一
Windows环境下安装Caffe-SSD与添加中心损失层Centor_Loss
"这篇教程详细介绍了如何在Windows操作系统上安装Caffe-SSD，并且添加新的中心损失层(Center Loss Layer)。作者在安装过程中遇到了问题，并根据自己的经验和其他专家的解决方案进行了总结，确保了安装过程的可行性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值