caffe小问题(2):softmaxWithLoss

原创 2016年06月01日 16:35:40

caffe中的softmaxWithLoss其实是:
softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer

其中:
Multinomial Logistic Loss Layer 即为交叉熵代价函数
Softmax Layer其实就是指softmax function(全连接那一步在它前面的fc中实现)

示意图如下:
这里写图片描述

应该注意,这里的Softmax Layer与机器学习中提到的softmax regression有一个小小的不同:它没有将前面的全连接层考虑在内,也就是说,它将softmax regression进行了分解:

softmax regression = 全连接层 + softmax layer (即softmax function)


另外,softmax function那个过程,按照如下方式绘制展示可能会更加明白
这里写图片描述

版权声明:本文为博主原创文章,如需转载,请注明出处:http://blog.csdn.net/tina_ttl 举报

相关文章推荐

Caffe softmax_loss_layer.cpp 学习

目录目录 LayerSetUp Reshape get_normalizer Forward_cpu Backward_cpuLayerSetUptemplate void SoftmaxWithL...

caffe层解读系列-softmax_loss

Loss Function 可选参数 使用方法 扩展使用Loss Functionsoftmax_loss的计算包含2步:(1)计算softmax归一化概率(2) 计算损失这里以batchsize=1...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Caffe源码阅读(3)Softmax层和SoftmaxLoss层

Reference Link: http://zhangliliang.com/2015/05/27/about-caffe-code-softmax-loss-layer/ 关于so...

caffe之SoftmaxWithLoss层 自定义实现

caffe中的各层实现,因为封装了各种函数和为了扩展,在提升了效率的同时,降低了一定的代码可读性,这里,为了更好地理解softmax以及caffe中前向传播和反向传播的原理,我用通俗易懂的代码实现了S...

梳理caffe代码softmaxWithLoss(二十三)

继续梳理caffe中的loss的softmaxWithLoss函数。 caffe中的softmaxWithLoss其实是:  softmaxWithLoss = Multinomial Logi...

caffe源码学习(2)-softmax loss层

与softmax回归相关的caffe源码主要在如下两个文件中:softmax_loss_layer.cpp和softmax_layer.cpp。 softmax_loss_layer.cpp 前向...

Caffe: Softmax_Loss layer

先占坑,以后补全。今天遇到softmax_loss Layer的问题,在网上找到Chiyuan Zhang学长的这篇文章。终于明白了为什么在计算中它会减去最大的一个值。有时间要自己搞清楚, 再写下来。

caffe层解读系列-softmax_loss

caffe层解读系列-softmax_loss 转自:http://blog.csdn.net/shuzfan/article/details/51460895 作者:shuzfan L...
  • mzpmzk
  • mzpmzk
  • 2016-11-08 16:23
  • 1753

caffe中带权重的softmaxloss实现(一)

长话短说,先看一个简单的shicai  Weighted Softmax Loss Layer for Caffe Usage: (1)caffe.proto文件修改以下部分,增加pos_mu...

Caffe学习:Loss

Caffe学习:Loss
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)