神经网络中的softmax函数

原创 2015年07月07日 21:53:45

Softmax function

1 提出背景

对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:

(1)  对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的

(2)  对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。

2 神经元的激励函数的变化


注意:j代表k-1层所有的神经单元


 

3 误差函数的变化

 采用熵的方法,求解误差



深度学习笔记8:softmax层的实现

如果有什么疑问或者发现什么错误,欢迎在评论区留言,有时间我会一一回复 softmax简介 Softmax回归模型是logistic回归模型在多分类问题上的推广,在多分类问题中,待分类的类别数量大于...
  • l691899397
  • l691899397
  • 2016年08月23日 16:14
  • 16432

deep learning 自学习网络的Softmax分类器

这一节我将跳过KNN分类器,因为KNN分类器分类时间效率太低,这一节讲Sparse autoencoder + softmax分类器。首先普及一下Sparse autoencoder网络,Sparse...
  • hlx371240
  • hlx371240
  • 2014年10月18日 01:33
  • 20279

神经网络四:Softmax以及与Sigmoid的关系

Softmax 是神经网络中另一种输出层函数,计算输出层的值。主要用于神经网络最后一层,作为输出层进行多分类,与Logistic多分类函数相对应。两者各有特点,也有联系。...
  • Bixiwen_liu
  • Bixiwen_liu
  • 2016年10月27日 16:14
  • 8521

BP神经网络(输出层采用Softmax激活函数、交叉熵损失函数)公式推导

本篇博客主要介绍经典的三层BP神经网络的基本结构及反向传播算法的公式推导。我们首先假设有四类样本,每个样本有三类特征,并且我们在输出层与隐藏层加上一个偏置单元。这样的话,我们可以得到以下经典的三层BP...
  • Jaster_wisdom
  • Jaster_wisdom
  • 2017年10月28日 21:42
  • 662

六、改进神经网络的学习方法(2):Softmax输出层

本文主要介绍改进神经网络的第二种方式,使用softmax输出层和log-likelihood函数,其优点在于,首先可以将输出值以概率分布的形式表达出来,其次避免了学习减速的问题。本文首先给出softm...
  • dugudaibo
  • dugudaibo
  • 2017年08月14日 21:08
  • 732

卷积神经网络系列之softmax,softmax loss和cross entropy的讲解

我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caf...
  • u014380165
  • u014380165
  • 2017年08月17日 07:47
  • 7177

神经网络中的Softmax是如何更新参数的

本文将从两个方面阐述神经网络中的softmax是如何更新参数的。 第一部分:BP算法怎么更新参数?缺点是什么? 第二部分:用了softmax怎么更新参数?一、BP算法用二次经验误差作为代价函数我们...
  • zjsghww
  • zjsghww
  • 2017年05月26日 14:05
  • 2325

CS231n 学习笔记(2)——神经网络 part2 :Softmax classifier

*此系列为斯坦福李飞飞团队的系列公开课“cs231n convolutional neural network for visual recognition ”的学习笔记。本文主要是对module 1...
  • fm0517
  • fm0517
  • 2016年07月28日 07:34
  • 1047

sigmoid和softmax总结

sigmoid函数(也叫逻辑斯谛函数):  引用wiki百科的定义:  A logistic function or logistic curve is a common “S” shape (si...
  • u014422406
  • u014422406
  • 2016年10月13日 12:47
  • 56246

(译)神经网络基础(2):Softmax 分类函数

Softmax 分类函数本例子包括以下内容: * softmax 函数 * 交叉熵(Cross-entropy) 损失函数在上一个例子中,我们介绍了如何利用 logistic 函数来处理二分类问题...
  • Jerr__y
  • Jerr__y
  • 2017年05月05日 16:54
  • 1619
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:神经网络中的softmax函数
举报原因:
原因补充:

(最多只允许输入30个字)