caffe小问题(2):softmaxWithLoss

原创 2016年06月01日 16:35:40

caffe中的softmaxWithLoss其实是:
softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer

其中:
Multinomial Logistic Loss Layer 即为交叉熵代价函数
Softmax Layer其实就是指softmax function(全连接那一步在它前面的fc中实现)

示意图如下:
这里写图片描述

应该注意,这里的Softmax Layer与机器学习中提到的softmax regression有一个小小的不同:它没有将前面的全连接层考虑在内,也就是说,它将softmax regression进行了分解:

softmax regression = 全连接层 + softmax layer (即softmax function)


另外,softmax function那个过程,按照如下方式绘制展示可能会更加明白
这里写图片描述

版权声明:本文为博主原创文章,如需转载,请注明出处:http://blog.csdn.net/tina_ttl

相关文章推荐

Caffe框架源码剖析(9)—损失层SoftmaxWithLossLayer

类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将100*10的bottom_data,通过计算得到100*10的top_...

caffe源码学习:softmaxWithLoss前向计算

caffe源码学习:softmaxWithLoss      在caffe中softmaxwithLoss是由两部分组成,softmax+Loss组成,其实主要就是为了caffe框架的可扩展性。 ...

神经网络欧式距离损失函数和softmaxwithloss损失函数转换示例

1. 神经网络损失函数说明 神经网络欧式距离损失函数用于连续值训练样本的拟合,softmaxwithloss损失函数用于分类训练样本的拟合。另外,深度网络对于分类样本的拟合能力强于对于连续值样本的拟...

Caffe源码阅读(3)Softmax层和SoftmaxLoss层

Reference Link: http://zhangliliang.com/2015/05/27/about-caffe-code-softmax-loss-layer/ 关于so...

caffe层解读系列-softmax_loss

Loss Function 可选参数 使用方法 扩展使用Loss Functionsoftmax_loss的计算包含2步:(1)计算softmax归一化概率(2) 计算损失这里以batchsize=1...
  • shuzfan
  • shuzfan
  • 2016年05月20日 13:07
  • 18384

捋顺 用于分类任务的softmax 和softmaxwithloss

1、softmax 函数: 定义: 以上公式:假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就可以用以上公式表示。也就是说,是该元素的指数,与所有元素指数和的比值。...

梳理caffe代码softmaxWithLoss(二十三)

继续梳理caffe中的loss的softmaxWithLoss函数。 caffe中的softmaxWithLoss其实是:  softmaxWithLoss = Multinomial Logi...

caffe层解读系列-softmax_loss

caffe层解读系列-softmax_loss 转自:http://blog.csdn.net/shuzfan/article/details/51460895 作者:shuzfan L...
  • mzpmzk
  • mzpmzk
  • 2016年11月08日 16:23
  • 2132

从零开始编写深度学习库(一)SoftmaxWithLoss CPU编写

一、C++实现void softmax_function(const Eigen::MatrixXf &inputs,Eigen::MatrixXf &softmax) { softmax = in...
  • hjimce
  • hjimce
  • 2017年05月11日 11:15
  • 1228

caffe SoftmaxWithLoss 层

loss 函数:      深度 学习 的 目标, 通过调整  w,b 参数, 得到一个 更小的 loss caffe 中的 loss 在Forward阶段产生     在Softmax...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe小问题(2):softmaxWithLoss
举报原因:
原因补充:

(最多只允许输入30个字)