关闭

caffe层解读系列-softmax_loss

20563人阅读 评论(14) 收藏 举报
分类:

Loss Function

softmax_loss的计算包含2步:

(1)计算softmax归一化概率

归一化概率

(2)计算损失

这里写图片描述

这里以batchsize=1的2分类为例:
设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4],
然后计算归一化概率得到[0.5987 0.4013],
假如该图片的label为1,则Loss=-log0.4013=0.9130

可选参数

(1) ignore_label

int型变量,默认为空。
如果指定值,则label等于ignore_label的样本将不参与Loss计算,并且反向传播时梯度直接置0.

(2) normalize

bool型变量,即Loss会除以参与计算的样本总数;否则Loss等于直接求和

(3) normalization
enum型变量,默认为VALID,具体代表情况如下面的代码。

  enum NormalizationMode {
    // Divide by the number of examples in the batch times spatial dimensions.
    // Outputs that receive the ignore label will NOT be ignored in computing the normalization factor.
    FULL = 0;

    // Divide by the total number of output locations that do not take the
    // ignore_label.  If ignore_label is not set, this behaves like FULL.
    VALID = 1;

    // Divide by the batch size.
    BATCH_SIZE = 2;

    // 
    NONE = 3;
  }

归一化case的判断:

(1) 如果未设置normalization,但是设置了normalize。
则有normalize==1 -> 归一化方式为VALID
normalize==0 -> 归一化方式为BATCH_SIZE

(2) 一旦设置normalization,归一化方式则由normalization决定,不再考虑normalize。

使用方法


layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "fc1"
  bottom: "label"
  top: "loss"
  top: "prob"
  loss_param{
    ignore_label:0
    normalize: 1
    normalization: FULL
  }
}

扩展使用

(1) 如上面的使用方法中所示,softmax_loss可以有2个输出,第二个输出为归一化后的softmax概率

(2) 最常见的情况是,一个样本对应一个标量label,但softmax_loss支持更高维度的label。
当bottom[0]的输入维度为N*C*H*W时,
其中N为一个batch中的样本数量,C为channel通常等于分类数,H*W为feature_map的大小通常它们等于1.

此时我们的一个样本对应的label不再是一个标量了,而应该是一个长度为H*W的矢量,里面的数值范围为0——C-1之间的整数。
至于之后的Loss计算,则采用相同的处理。

6
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

卷积神经网络系列之softmax,softmax loss和cross entropy的讲解

我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caf...
  • u014380165
  • u014380165
  • 2017-08-17 07:47
  • 5398

softmax,softmax-loss,BP的解释

softmax,softmax-loss,BP的解释
  • u014380165
  • u014380165
  • 2017-05-04 20:32
  • 2903

caffe SoftmaxWithLoss 层

loss 函数:      深度 学习 的 目标, 通过调整  w,b 参数, 得到一个 更小的 loss caffe 中的 loss 在Forward阶段产生     在Softmax...
  • stone_linclon
  • stone_linclon
  • 2016-06-17 16:29
  • 655

Softmax vs. Softmax-Loss: Numerical Stability

The softmax loss layer computes the multinomial logistic loss of the softmax of its inputs. It’s con...
  • ZhikangFu
  • ZhikangFu
  • 2015-09-14 16:29
  • 703

softmax loss函数

具体推导可参见网页: http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function ...
  • yihaizhiyan
  • yihaizhiyan
  • 2015-02-11 20:41
  • 11865

损失函数改进方法之A-softmax loss

论文:SphereFace: Deep Hypersphere Embedding for Face Recognition 论文链接:https://arxiv.org/abs/1704.0806...
  • u014380165
  • u014380165
  • 2017-08-09 08:19
  • 2824

softmaxWithLoss Layer

caffe中的softmaxWithLoss其实是: softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer其中: ...
  • z1102252970
  • z1102252970
  • 2016-09-27 22:04
  • 664

Softmax vs. Softmax-Loss: Numerical Stability

参考博文《Softmax vs. Softmax-Loss: Numerical Stability》 Softmax vs. Softmax-Loss: Numerical Stability其中...
  • iamzhangzhuping
  • iamzhangzhuping
  • 2016-02-28 11:15
  • 522

机器学习中的损失函数 (着重比较:hinge loss vs softmax loss)

1. 损失函数损失函数(Loss function)是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度,它是一个非负实值函数,通常用 L(Y,f(x))L(Y,f(x)) 来表...
  • u010976453
  • u010976453
  • 2017-11-09 12:38
  • 946

caffe小问题(2):softmaxWithLoss

caffe中的softmaxWithLoss其实是: softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer其中: Mu...
  • tina_ttl
  • tina_ttl
  • 2016-06-01 16:35
  • 5880
    个人资料
    • 访问:599129次
    • 积分:6489
    • 等级:
    • 排名:第4333名
    • 原创:133篇
    • 转载:11篇
    • 译文:1篇
    • 评论:519条