二分类问题中，sigmoid与softmax的区别

已于 2022-09-07 11:07:36 修改
阅读量873 收藏 1
点赞数
文章标签： 分类 深度学习 python
于 2022-09-07 11:06:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dingyplucky/article/details/126739820
版权

本文摘自知乎答主’初识CV‘的回答，连接：二分类问题，应该选择sigmoid还是softmax？ - 知乎

对于二分类问题，理论上，两者没有任何区别。

由于现在Pytorch，TensorFlow等框架计算矩阵方式问题，两者在反向传播的过程中还是有区别的。实验表明，对于不同的模型，可能sigmoid效果好，也可能softmax效果好。 

\mathrm{Sigmoid: } output\left ( x_{1} \right ) = \frac{1}{1+e^{-x_{1}}}

最低0.47元/天 解锁文章
是luckyBaby呢
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
二分类问题，应该选择sigmoid还是softmax函数
小姑仔的博客
03-14 6096
二分类的激活函数通常选择sigmoid或者softmax函数，对于二分类的问题，sigmoid函数和softmax函数可以等价 首先记隐层的输出为h。 如果使用sigmoid的话，输出层有一个结点，值为θh\theta hθh。然后类别1，2的预测概率分别为： p1=sigmoid(θh)=11+e−θhp_{1} = sigmoid(\theta h) = \frac{1}{1+e^{-\theta h}}p1​=sigmoid(θh)=1+e−θh1​ p2=1−sigmoid(θh)=11+eθhp_
sigmoid与softmax 二分类、多分类的使用
weixin_30487701的博客
08-19 1458
二分类下，sigmoid、softmax两者的数学公式是等价的，理论上应该是一样的，但实际使用的时候还是sigmoid好 https://www.zhihu.com/question/295247085 为什么好？其实现在我得到一个确切的答案！ 多个sigmoid与一个softmax都可以进行多分类 如果多个类别之间是互斥的，就应该使用softmax，即这个东西只可能是几个...
分类-2-softmax
哎呦喂的博客
04-03 1844
softmax是一个可以解决多分类问题的方法。 假如我们的输出y∈{1,2,...,k}假如我们的输出y\in\{1,2,...,k\}，即共有k个类别，而不是之前的二分类问题。 此时我们使用ϕ1,...,ϕk\phi_1,...,\phi_k来表示输出，即样本属于每个类别的概率。显然对于任意的一个样本有ϕ1+...+ϕk=1\phi_1+...+\phi_k=1，故ϕk\phi_k可由其他ϕ表
Sigmoid函数与softmax函数
yeler082的博客
05-09 1396
一、sigmoid函数 函数：f(z) = 1 / (1 + exp( −z)) 导数：f(z)' =f(z)(1 −f(z)) 推导过程： 函数图像： tensorflow实现: #!/usr/bin/env python # -*- coding: utf-8 -*- import tensorflow as tf input_data = tf.Var...
softmax、以及与sigmoid的比较
weixin_44059001的博客
10-12 551
softmax是什么？ softmax用于多分类过程中，将多个神经元的输出，映射到(0,1)范围内，且这些映射值的总和为1，相当于概率值。 假设某神经网络输出层，共有个元素，其中第i个元素值为，则该元素对应的softmax值为： softmax与sigmoid的区别： sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1 softmax函数的输出值相互关联，其概率的总和始终为1，因此，在softmax函数中，为增大某一类别的概率，其他类别的概率必须相应减少 所以
激活函数层 && 神经网络的基本组成 && Sigmoid、ReLU及Softmax函数
Flying Bulldog 的博客
05-25 4163
神经网络如果仅仅是由线性的卷积运算堆叠组成，则其无法形成复杂的表达空间，也就很难提取出高语义的信息，因此还需要加入非线性的映射，又称为激活函数，可以逼近任意的非线性函数，以提升整个神经网络的表达能力。 在物体检测任务中，常用的激活函数有Sigmoid、 ReLU及Softmax函数。 目录 一、常见的激活函数 （1）Sigmoid函数 （2）ReLU函数 （3）Leaky ReLU函数 （4）Softmax函数 二、Pytorch官方文件激活函数总结 （1）涉及的激活函数，以及公式 ..
python _softmax多分类.rar
03-20
2. **逻辑回归与多分类**：在二分类问题中，逻辑回归模型的输出通过sigmoid函数转化为0-1之间的概率。在多分类问题中，softmax函数可以看作是逻辑回归的扩展，用于输出每个类别的概率。 3. **One-vs-All (OvA) 或 ...
藏经阁-Softmax Function Vs Sigmoid Fu.pdf
最新发布
09-09
2. 使用场景：Softmax 函数通常用于多分类问题中，而 Sigmoid 函数通常用于二分类问题中。 3. 数学公式：Softmax 函数的数学公式是 exp(x) / Σexp(x)，而 Sigmoid 函数的数学公式是 1 / (1 + exp(-x))。 Softmax ...
MLP分类_softmax分类器_keras_神经网络_establishjop_分类_
10-03
本文将深入探讨如何利用Keras库构建MLP分类器，特别是针对二分类和softmax多分类问题。 首先，Keras是一个高级神经网络API，它构建在TensorFlow、Theano或CNTK等深度学习框架之上，提供了简洁而灵活的接口来设计和...
用keras模型实现猫狗二分类.zip
04-01
模型的最后会有一个激活函数，如sigmoid或softmax，用于二分类问题。 模型构建完成后，我们需要编译模型。在Keras中，`model.compile()`方法用于设置损失函数（如二元交叉熵）、优化器（如Adam）和评估指标（如准确...
基于pytorch的logistic与softmax回归模型python代码
12-11
它们通常用于分类问题，尤其是二分类和多分类任务。PyTorch是一个流行的深度学习框架，以其灵活性和易用性受到广泛欢迎。下面我们将深入探讨这两个模型以及如何在PyTorch中实现它们。 1. **Logistic回归** - **...
二分类任务为什么常见用softmax而不是sigmoid
weixin_43918046的博客
04-03 2566
在搭建深度学习模型处理二分类任务的时候，我们常常想到的是定义模型一个输出，然后sigmoid激活输出结果，映射到0-1之间，然后二分类交叉熵损失函数进行训练即可，但是我常常看到的很多别人写的工程代码中，二分类他们都是定义2个输出，然后softmax映射成0和1的概率，再用多分类的交叉熵损失函数进行训练，我就很奇怪为啥要这样，直到最近在跑一个任务，搭建的模型非常复杂，用的一个输出后面接sigmoid，然后。。。。。就出锅了，原因很简单，数据爆炸了，一个输出的内容为-1000到1000多这样的范围（在深度模型训
softmax和sigmoid的异同
薰珞婷紫小亭子的博客
09-18 907
softmax和sigmoid的异同 1. Sigmoid函数 Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。 优点：1. Sigmoid函数的输出在(0,1)之间，输出范围有限，优化稳定，可以用作输出层。2. 连续函数，便于求导。 缺点：1. 最明显的就是饱和性，从上图也不难看出其两侧导数逐渐趋近于0，容易造成梯度消失。2.激活函数的偏移现象。Sigmoid函数的输出值均大于0，
softmax与sigmoid的区别
热门推荐
普通攻击往后拉的博客
04-02 1万+
111
激活函数sigmoid和激活函数softmax
橙子Blue不加冰
12-29 1万+
1.激活函数sigmoid Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。 图像归一化的过程： ...
Sigmoid和Softmax在二分类中使用的区别与实现
whocare的博客
04-01 3950
对于二分类有三种实现方式： 1. nn.Linear(input, 1) + sigmoid + BCELoss 全连接输出维度为1，使用sigmoid将输出映射到0,1之间 self.outputs = nn.Linear(input, 1) def forward(self, x): # other layers omitted x = self.outputs(x) return torch.sigmoid(x) 那么在这种情况下，我们使用torch.
resnet(4)------全连接层与softmax
skyllerone的博客
12-10 6003
如果不用指数函数的话，其实仓鼠得分和白面包的得分是差不多的，但指数增长的特性就是，横轴变化很小的量，纵轴就会有很大的变化。所以，从1.9变化到2.1，经过指数的运算，两者的差距立马被的拉大了。这个算法又是如何将神经网络推理的数值，转换为一个类别的分类的呢？的关系，我们知道卷积是对图像的局部区域进行连接，通过卷积核完成的是感受野内的长宽方向以及channel 方向的数据连接。它的每次完成的是所有channel方向的连接，它看到的是。仓鼠的得分是2.1，白面包的得分是1.9，猫的得分是0.1。
多分类神经网络：Softmax回归
qq_44289607的博客
01-30 2511
在机器学习中，我们会使用二分类算法的Many-vs-Many（多对多）和One-vs-Rest（一对多）模式来进行多分类。其中，OvR是指将多个标签类别中的一类作为类别1，其他所有类别作为类别0，分别建立多 个二分类模型，综合得出多分类结果的方法。MvM是指把好几个标签类作为1，剩下的几个标签类别作 为0，同样分别建立多个二分类模型来得出多分类结果的方法。这两种方法非常有效，尤其是在逻辑回归 做多分类的问题上能够解决很多问题，但是在深度学习世界却完全不奏效。理由非常简单： 1. 逻辑回归是一个单层神经网络
从零开始的深度学习之旅(3)
ren9855的博客
11-22 1531
比如我们做了一个预测房价的实验,预测的房价和真正的房价之间肯定存在差异.当真实值与预测值差异越大时，我们就认为神经网络学习过程中丢失了许多信息，丢失的这部分称为”损失“，因此评估真实值与预测值差异的函数被我们称为“损失函数.在之前的学习中，我们建立神经网络时总是先设定好w与b的值,或者由我们调用的PyTorch类帮助我们随机生成权重向量,接着通过加和求出z ,再在z上嵌套sigmoid或者softmax函数，最终获得神经网络的输出。最大,同理,如果样本的真实标签为其他值，我们就希望其他值所对应的概率最大。
sigmoid和softmax区别
07-27
sigmoid和softmax都是常用的激活函数，用于将输入映射到一个概率分布上。 sigmoid函数（也称为逻辑函数）将输入的实数值压缩到0和1之间。它的数学表达式为： sigmoid(x) = 1 / (1 + exp(-x)) sigmoid函数常用于二分类问题，将实数转化为0到1之间的概率值，表示某个样本属于正类的概率。 softmax函数是sigmoid函数的一种推广形式，它将输入向量的每个元素转化为一个非负值，并且所有元素的和为1，用于多分类问题。它的数学表达式为： softmax(x_i) = exp(x_i) / sum(exp(x_j)) softmax函数对输入向量中的每个元素进行指数化，然后归一化得到概率分布。在多分类问题中，softmax函数可以将输入向量的每个元素转化为样本属于某个类别的概率。 因此，sigmoid函数适用于二分类问题，而softmax函数适用于多分类问题。它们在数学形式和应用场景上有所不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值