caffe小问题(2):softmaxWithLoss

原创 2016年06月01日 16:35:40

caffe中的softmaxWithLoss其实是:
softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer

其中:
Multinomial Logistic Loss Layer 即为交叉熵代价函数
Softmax Layer其实就是指softmax function(全连接那一步在它前面的fc中实现)

示意图如下:
这里写图片描述

应该注意,这里的Softmax Layer与机器学习中提到的softmax regression有一个小小的不同:它没有将前面的全连接层考虑在内,也就是说,它将softmax regression进行了分解:

softmax regression = 全连接层 + softmax layer (即softmax function)


另外,softmax function那个过程,按照如下方式绘制展示可能会更加明白
这里写图片描述

版权声明:本文为博主原创文章,如需转载,请注明出处:http://blog.csdn.net/tina_ttl

Caffe框架源码剖析(9)—损失层SoftmaxWithLossLayer

类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将100*10的bottom_data,通过计算得到100*10的top_...
  • tianrolin
  • tianrolin
  • 2016年09月20日 13:22
  • 9731

caffe源码学习:softmaxWithLoss前向计算

caffe源码学习:softmaxWithLoss      在caffe中softmaxwithLoss是由两部分组成,softmax+Loss组成,其实主要就是为了caffe框架的可扩展性。 ...
  • liyaohhh
  • liyaohhh
  • 2016年08月04日 09:44
  • 9537

神经网络欧式距离损失函数和softmaxwithloss损失函数转换示例

1. 神经网络损失函数说明 神经网络欧式距离损失函数用于连续值训练样本的拟合,softmaxwithloss损失函数用于分类训练样本的拟合。另外,深度网络对于分类样本的拟合能力强于对于连续值样本的拟...
  • zyqdragon
  • zyqdragon
  • 2017年06月08日 21:54
  • 1878

捋顺 用于分类任务的softmax 和softmaxwithloss

1、softmax 函数: 定义: 以上公式:假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的Softmax值就可以用以上公式表示。也就是说,是该元素的指数,与所有元素指数和的比值。...
  • wonengguwozai
  • wonengguwozai
  • 2017年07月01日 15:58
  • 462

softmax loss函数

具体推导可参见网页: http://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function ...
  • yihaizhiyan
  • yihaizhiyan
  • 2015年02月11日 20:41
  • 11980

caffe层解读系列-softmax_loss

Loss Function 可选参数 使用方法 扩展使用Loss Functionsoftmax_loss的计算包含2步:(1)计算softmax归一化概率(2) 计算损失这里以batchsize=1...
  • shuzfan
  • shuzfan
  • 2016年05月20日 13:07
  • 21325

caffe层解析之softmaxwithloss层

理论caffe中的softmaxWithLoss其实是: softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer 其核...
  • Iriving_shu
  • Iriving_shu
  • 2017年11月22日 23:03
  • 272

深度学习笔记8:softmax层的实现

如果有什么疑问或者发现什么错误,欢迎在评论区留言,有时间我会一一回复 softmax简介 Softmax回归模型是logistic回归模型在多分类问题上的推广,在多分类问题中,待分类的类别数量大于...
  • l691899397
  • l691899397
  • 2016年08月23日 16:14
  • 16394

梳理caffe代码softmaxWithLoss(二十三)

继续梳理caffe中的loss的softmaxWithLoss函数。 caffe中的softmaxWithLoss其实是:  softmaxWithLoss = Multinomial Logi...
  • langb2014
  • langb2014
  • 2016年08月10日 19:04
  • 5607

caffe之SoftmaxWithLoss层 自定义实现

caffe中的各层实现,因为封装了各种函数和为了扩展,在提升了效率的同时,降低了一定的代码可读性,这里,为了更好地理解softmax以及caffe中前向传播和反向传播的原理,我用通俗易懂的代码实现了S...
  • zxj942405301
  • zxj942405301
  • 2017年05月25日 11:38
  • 2179
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:caffe小问题(2):softmaxWithLoss
举报原因:
原因补充:

(最多只允许输入30个字)