神经网络中的softmax函数

原创 2015年07月07日 21:53:45

Softmax function

1 提出背景

对于一般的神经网络而言,误差函数为,但是这样的误差函数是会存在问题的:

(1)  对于互斥分类问题的概率求解问题,必须要保证,但是如果采用上述的误差函数,是没有办法保证的

(2)  对于分类问题,实际的结果是1,但是预测的结果是0.0000001,即好比实际的结果在x轴方向的,但是预测的结果却是y轴方向。那么,在缩小误差的过程中,就需要相当长的时间。

2 神经元的激励函数的变化


注意:j代表k-1层所有的神经单元


 

3 误差函数的变化

 采用熵的方法,求解误差



相关文章推荐

深度学习笔记8:softmax层的实现

如果有什么疑问或者发现什么错误,欢迎在评论区留言,有时间我会一一回复 softmax简介 Softmax回归模型是logistic回归模型在多分类问题上的推广,在多分类问题中,待分类的类别数量大于...

deep learning 自学习网络的Softmax分类器

这一节我将跳过KNN分类器,因为KNN分类器分类时间效率太低,这一节讲Sparse autoencoder + softmax分类器。首先普及一下Sparse autoencoder网络,Sparse...

神经网络四:Softmax以及与Sigmoid的关系

Softmax 是神经网络中另一种输出层函数,计算输出层的值。主要用于神经网络最后一层,作为输出层进行多分类,与Logistic多分类函数相对应。两者各有特点,也有联系。...

深度学习算法原理——Softmax回归

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,记录下神经网络到深度学习的一些知识点。整...

深度学习常用激活函数之— Sigmoid & ReLU & Softmax

深度学习常用激活函数-ReLU
  • Leo_Xu06
  • Leo_Xu06
  • 2016年12月19日 20:02
  • 18485

卷积神经网络系列之softmax,softmax loss和cross entropy的讲解

我们知道卷积神经网络(CNN)在图像领域的应用已经非常广泛了,一般一个CNN网络主要包含卷积层,池化层(pooling),全连接层,损失层等。虽然现在已经开源了很多深度学习框架(比如MxNet,Caf...

手写数字识别(1)---- Softmax回归模型

Tensorflow发布也有一段时间了,经常听周围的同学们提起,最近打算学习一下。 跟着官方教程,我过了一遍手写数字识别的教程。 原文:Build a Softmax Regression Model...
  • CY_TEC
  • CY_TEC
  • 2016年07月27日 16:30
  • 6418

汐月教育之理解TensorFlow(三.1)构建简单的BP神经网络+softmax多分类进行MNIST识别

运行Tensorflow的过程依然如上文一样,构建图-->建立session-->session中运行图;这样的话很难调试,上文也介绍了可以使用交互式的intersession,可以一步步运行。具体步...

deeplearning系列(五)实现一个简单的深度神经网络

实现了一个包含两个隐藏层和一个softmax输出层的深度神经网络,训练过程包括逐层贪婪训练和微调两部分。...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:神经网络中的softmax函数
举报原因:
原因补充:

(最多只允许输入30个字)