sigmoid和softmax总结

原创 2016年10月13日 12:47:59

 sigmoid函数(也叫逻辑斯谛函数):
 引用wiki百科的定义:

  A logistic function or logistic curve is a common “S” shape (sigmoid curve).

  其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。

这里写图片描述

  logistic曲线如下:
  这里写图片描述

同样,我们贴一下wiki百科对softmax函数的定义:

softmax is a generalization of logistic function that “squashes”(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.

  这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K
维的任意实数向量压缩(映射)成另一个K

维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。

  softmax函数形式如下:
  这里写图片描述

总结:sigmoid将一个real value映射到(0,1)的区间(当然也可以是(-1,1)),这样可以用来做二分类。
而softmax把一个k维的real value向量(a1,a2,a3,a4….)映射成一个(b1,b2,b3,b4….)其中bi是一个0-1的常数,然后可以根据bi的大小来进行多分类的任务,如取权重最大的一维。
  

版权声明:本文为博主原创文章,未经博主允许不得转载。

Softmax

简介 其实吧,一般在神经网络中用的最多的是sigmoid和tanh,当然也有用relu的。这是针对“是”和“否”的分类,但当进行多分类时,就要用到softmax 。 在logistic回归中,训练...
  • Hungryof
  • Hungryof
  • 2015年12月24日 17:42
  • 7873

深度学习算法原理——Softmax回归

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,记录下神经网络到深度学习的一些知识点。整...
  • google19890102
  • google19890102
  • 2015年11月09日 14:46
  • 8174

Softmax 函数及其作用(含推导)

Softmax是一种形如下式的函数:P(i)=exp(θTix)∑Kk=iexp(θTkx) P(i)=\dfrac{exp(\theta_i^Tx)}{\sum_{k=i}^{K}exp(\thet...
  • hejunqing14
  • hejunqing14
  • 2015年10月08日 21:58
  • 30983

softmax回归

在上一篇文章中,讲述了广义线性模型。通过详细的讲解,针对某类指数分布族建立对应的广义线性模型。在本篇文章 中,将继续来探讨广义线性模型的一个重要例子,它可以看成是Logistic回归的扩展,即soft...
  • ACdreamers
  • ACdreamers
  • 2015年03月27日 00:55
  • 39258

Softmax的理解与应用

Softmax 理解 应用
  • superCally
  • superCally
  • 2017年01月08日 15:28
  • 14218

softmax的多分类

关于多分类我们常见的逻辑回归、SVM等常用于解决二分类问题,对于多分类问题,比如识别手写数字,它就需要10个分类,同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这里讨论另外一种方式来...
  • wangyangzhizhou
  • wangyangzhizhou
  • 2017年07月13日 17:38
  • 3110

Softmax回归(Softmax Regression)

Softmax回归(Softmax Regression) 转载请注明出处:http://www.cnblogs.com/BYRans/   多分类问题    在一个多分类问题中,因变...
  • zdy0_2004
  • zdy0_2004
  • 2015年10月23日 21:18
  • 13818

深度学习基础(一) —— softmax 及 logsoftmax

softmax:重新定义了多层神经网络的输出层(output layer),注意仅和输出层有关系,和其他层无关。 softmax function,也称为 normalized expone...
  • AMDS123
  • AMDS123
  • 2017年03月15日 12:29
  • 7272

DeepLearning tutorial(1)Softmax回归原理简介+代码详解

DeepLearning tutorial(1)Softmax回归原理简介+代码详解 @author:wepon @blog:http://blog.csdn.net/u0121626...
  • u012162613
  • u012162613
  • 2015年01月26日 20:06
  • 25564

Softmax

Contents [hide] 1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 ...
  • roslei
  • roslei
  • 2016年10月11日 16:35
  • 770
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:sigmoid和softmax总结
举报原因:
原因补充:

(最多只允许输入30个字)