Softmax和Sigmoid函数的区别

最新推荐文章于 2024-08-28 11:17:46 发布
最新推荐文章于 2024-08-28 11:17:46 发布
阅读量7.6k 收藏 19
点赞数 7
分类专栏： python语法 文章标签： 深度学习 机器学习 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangweirensheng/article/details/121732535
版权

sigmoid函数用于多标签问题，选取多个标签作为正确答案，它是将任意值归一化为[0-1]之间，并不是不同概率之间的相互关联，且由于远离0的部分梯度较小，容易出现梯度消失现象

 Softmax函数用于多分类问题，即从多个分类中选取一个正确答案。Softmax综合了所有输出值的归一化，因此得到的是不同概率之间的相互关联

softmax函数是sigmoid函数在多分类问题上的推广，它是将多分类问题的结果以概率的形式展现出来。

先利用指数函数拉大输入值之间的差距，然后再归一化输出概率值，选择最大概率值作为最后输出。

在深度学习中常常将softmax作为MLP的最后一层，并配合以交叉熵损失函数（对分布间差异的一种度量）

 

ciki_tang
关注
专栏目录
sigmoid函数和softmax函数
Meiko记录
02-26 2177
sigmoid函数（也叫逻辑斯谛函数）：  　引用wiki百科的定义： 　　A logistic function or logistic curve is a common “S” shape (sigmoid curve). 　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 　　logistic曲线如下：  　　 同样，我们贴一下wi...
sigmoid和softmax激活函数的区别
A book super
03-03 3037
一、简单说下sigmoid激活函数 解析： 常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数（btw，在本博客中SVM那篇文章开头有提过）。 sigmoid的函数表达式如下: 其中z是一个线性组合，比如z可以等于：b + w1x1 + w2x2。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1。 （一般用于全连接+激活函数） 总之，sigmod函数，是逻
sigmoid和softmax总结
热门推荐
老哥的专栏
10-13 13万+
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。　　logistic曲线如下： 　　同样，我们贴一下wiki百科对softma
神经网络算法 - 一文搞懂 Softmax 函数
最新发布
2401_85328934的博客
08-28 1351
本文将从Softmax的本质、Softmax的原理、Softmax的应用三个方面，带您一文搞懂Softmax 函数。
Softmax和sigmoid
vivi_cin的博客
06-24 844
sigmoid与softmax
详解softmax和sigmoid
CFH1021的博客
03-13 3685
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
机器学习（深度学习）Softmax和Sigmoid函数
无敌阿强的博客
02-22 5207
Softmax和Sigmoid函数理解 (1)相关背景 sigmoid和softmax是神经网络输出层使用的激活函数，分别用于两类判别和多类判别。binary cross-entropy和categorical cross-entropy是相对应的损失函数。 对应的激活函数和损失函数相匹配，可以使得error propagation的时候，每个输出神经元的“误差”（损失函数对输入的导数）恰等于其...
概率模拟（sigmoid、softmax）
MechMaster
07-23 1387
sigmoid、softmax
softmax与sigmoid函数区别
03-16
softmax函数和sigmoid函数都是常用的激活函数。 - softmax函数常用于多分类问题中，它能将任意K维的输入向量变成K维的概率分布向量，每一维都在(0,1)之间并且和为1。 - sigmoid函数常用于二分类问题中，它能将任意...
softmax与sigmoid函数的理解
qq_31267769的博客
08-24 3943
1 sigmoid 1.1 sigmoid的简单推理 在使用逻辑回归做二分类问题时，sigmoid函数常用作逻辑回顾的假设函数，从直觉上理解很好理解，就是在线性回归的基础上套一个sigmoid函数，将线性回归的结果，映射到范围内，使他变为一个二分类问题。但是在sigmoid背后有一套严谨的数学推导，包括sigmoid函数时怎么推导出来的，为什么使用丝sigmoid函数。 逻辑回归和线性回归同属一个广义线性模型，顾名思义，这些模型有相似之处，实在同一套约束下设计出来的。例如解决一个二分类问题，首先假设这
softmax与sigmoid函数
09-05
softmax函数和sigmoid函数都是常用的激活函数，主要用于将输入数据映射到特定的输出范围，并且在机器学习和深度学习中经常被用于分类问题。 Sigmoid函数是一种常用的非线性函数，它的公式为： sigmoid(x) = 1 / (1 ...
sigmoid和softmax函数的区别；神经网路常用的损失函数以及对应的应用场景；softmax的作用
L_goodboy的博客
10-24 1774
sigmoid和softmax函数的区别；神经网路常用的损失函数以及对应的应用场景；softmax的作用
sigmoid与softmax的区别与联系
weixin_38646522的博客
05-10 1294
Softmax与Sigmoid有哪些区别与联系？ 1. Sigmoid函数 SigmoidSigmoidSigmoid函数也叫LogisticLogisticLogistic函数，将输入值压缩到(0,1)(0,1)(0,1)区间之中，其函数表达式为： Sigmoid(x)=11+e−x Sigmoid(x) =\frac{1}{1+e^{-x}} Sigmoid(x)=1+e−x1​ 函数图像如图所示： 其求导之后的表达式为： Sigmoid⁡′(x)=Sigmoid⁡(x)⋅(1−Sigmoid⁡(x)
softmax与sigmoid函数的区别
qq_40379132的博客
06-21 4512
sigmoid 函数用于多标签问题，选取多个标签作为正确答案，它是将任意值归一化为[0-1]之间，并不是不同概率之间的相互关联，且由于远离0的部分梯度较小， 容易出现梯度消失现象 。将实数值映射到（0,1）的区间。sigmoid详细解释：Sigmoid函数解析__Sumor的博客-CSDN博客_sigmoid函数 当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x=0时，y=1/2。用sigmoid函数近似得到不同斜率的线性函数，只要x的取值始终在某个特定的范围之内，总可以将sigmoid
sigmoid 和softmax的区别
virus111222的博客
03-20 1225
但有一个问题，在我们学习数学的分类问题的时候，是不是讲过所有类别概率之和应该是1，sigmoid就做不到这一点，，三个类别的概率可能是0.6，0.9，0.8，都偏高，虽然知道最后计算结果应该是第二类，但是类别之间并没有拉开距离，不利于模型的训练。sigmoid做二分类最后的输出是一个神经元，这个神经元是0-1之间的数，用一个神经元就可以表示是或者不是，，，，softmax的二分类最后的输出是两个神经元，原因在于它需要计算。sigmoid本身是用来做激活函数的，并不是用来做分类的。过程，所以一般称为激活。
sigmod函数和softmax函数
Qiang的博客
11-24 374
在机器学习推导公式中，sigmod函数和softmax函数的求导过程是十分常见的，现总结推导结果如下： sigmodsigmodsigmod函数的求导结果： f(z)′=f(z)(1−f(z))f(z)'=f(z)(1-f(z))f(z)′=f(z)(1−f(z)) softmaxsoftmaxsoftmax函数的求导结果： f(z)′=1−f(z)f(z)'=1-f(z)f(z)′=1−f(z) 具体推导结果参考如下链接： 小白都能看懂的softmax详解 深度学习：Sigmoid函数与损失函数求导
softmax和sigmoid的选择
weixin_42071277的博客
08-12 1146
softmax和sigmoid的选择
Sigmoid 与 Softmax 的区别
HLBoy_happy的博客
07-09 7912
Sigmoid 与 Softmax 的区别结论定义图例 参考：Multi-label vs. Multi-class Classification: Sigmoid vs. Softmax、Sigmoid function、Softmax function 结论 sigmoid：使大的更大、小的更小（保持数值被归整到0-1之间） softmax：使所有的值之和为1（保持数值间的大小关系） 定义 sigmoid 处理的是单个输入值，不关注整体输入数据的关系。 f(yi)=11+e−yi for&nb
Sigmoid函数与softmax函数
yeler082的博客
05-09 1406
一、sigmoid函数 函数：f(z) = 1 / (1 + exp( −z)) 导数：f(z)' =f(z)(1 −f(z)) 推导过程： 函数图像： tensorflow实现: #!/usr/bin/env python # -*- coding: utf-8 -*- import tensorflow as tf input_data = tf.Var...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值