softmax与simod如何选择？

原创 已于 2024-02-01 10:36:00 修改 · 873 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

于 2023-02-28 16:05:42 首次发布
这篇博客探讨了softmax和sigmoid在深度学习中的应用及其区别。softmax常用于多分类任务，考虑所有类别的概率并确保概率总和为1，而sigmoid适用于二分类，输出值在0-1之间表示属于某类的概率，且与其它类无关。在多分类任务中，softmax由于其全局考虑的特性，通常表现更优。

前言：博主最近在复现代码的时候遇到一个问题，有的代码使用softmax有的使用sigmod，两者使用到底有什么区别呢？

一、softmax函数

1.1公式

（一般只用于最后一层进行分类）深度学习中使用Softmax进行分类。

1.2举例

如果我们的结果有3类，那么最后的神经元输出就是3，也就是输出有3个数，但是直接输出这3个数有时候并不是特别好。通过softmax这个函数，上面的3个数就转换为了概率，输出还是3个数，它们加起来就等于1。如下图所示

 

 1.3总结

softmax要综合考虑n个类，属于每个类的概率，这n类相互影响，加起来是等于1的.

二、sigmod函数

2.1sigmod公式

2.2解释

可以看到Sigmoid 函数的范围是在0~1之间，所以任何一个值经过了Sigmoid 函数的作用，都会变成0~1之间的一个值，这个值可以形像

最低0.47元/天 解锁文章
Sigmoid和Softmax的区别？Softmax的公式？
CSDN 精品推荐
08-08 344
尽管Sigmoid函数在某些情况下存在梯度消失问题，并且在输入远离0时饱和，但它在某些场景仍然有用，特别是在输出需要映射到0和1之间，且输入较小的情况下。其中，(x_i) 是输入向量的第 (i) 个元素，(N) 是类别的数量。需要注意的是，如果只是对神经网络的输出进行分类预测，不需要具体的概率值，可以使用具有更高计算效率的 argmax 操作来选择最可能的类别，而不必使用Softmax函数。Sigmoid函数和Softmax函数都是常用的激活函数，用于神经网络中的不同场景，有不同的特点和应用。
softmax和sigmoid的选择
weixin_42071277的博客
08-12 1249
softmax和sigmoid的选择
详解softmax和sigmoid
CFH1021的博客
03-13 4062
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
【深度学习|学习笔记】从背景→公式→性质→梯度→何时用哪一个→数值稳定性与常见坑方面描述sigmoid和softmax函数！
最新发布
2401_89898861的博客
09-14 744
【深度学习|学习笔记】从背景→公式→性质→梯度→何时用哪一个→数值稳定性与常见坑方面描述sigmoid和softmax函数！
神经网络：Sigmoid 和 Softmax
XIAO_yux的博客
12-11 1673
Sigmoid 将输入值（logits）映射到 [0,1][0, 1] 的范围，用于表示每个独立事件的概率。Softmax 将一组输入值（logits）归一化为概率分布，输出的每个值表示该类别的相对概率，总和为 1。是两种常用的激活函数，它们的数学形式、作用范围以及适用场景都有显著的不同。以下从多个方面进行详细比较。
sigmoid？softmax？该选哪个呢？
chenyi9981的博客
06-06 376
线性回归问题选用 MSE（Mean Squared Error）作为loss函数： 这里的m表示m个样本的，loss为m个样本的loss均值。 MSE在线性回归问题中比较好用 sigmoid函数的功能是把一个值映射到0-1之间 sigmoid函数常用于二分类问题 s...
Softmax和sigmoid
vivi_cin的博客
06-24 1148
sigmoid与softmax
什么是softmax 上下溢出问题？softmax的意义以及和logistic函数区别
曾小健3的博客
12-03 1809
softmax 上下溢出问题？在计算机科学中，溢出（overflow）和下溢出（underflow）是指数据超出其存储类型所能表示的范围的情况。上溢出（Overflow）上溢出发生在数值超过了变量或数据类型的上限。例如，在一个8位无符号整数（范围是0到255）中，如果你尝试存储值256，就会发生上溢出。因为256超出了这个数据类型可以表示的最大值，结果可能会被截断为0（取决于具体的处理方式），这通常会导致错误的结果。2. 下溢出（Underflow）
Softmax？何方神圣？
Zeva的博客
08-02 583
今天，我们来一起学习一下传说中的Softmax算法。 Introduction 引入 拿目标检测或者图像识别来说。 比方说我们要识别小猫，小狗和小鸡，分别用数字“1”，“2”，“3”来表示，其他类别的用“0”来表示。 小猫 1 小狗 2 小猫 1 小狗 2 小鸡 3 奶牛 0 我...
Softmax 函数
Rhett_Butler0922的博客
04-25 1099
Softmax 函数是一种归一化指数函数（Normalized Exponential Function），通常用于将一组实数（通常是模型的原始输出，称为logits）转换为一个概率分布。输出值在01[0, 1]01范围内，且所有输出值的和为 1。σziezi∑j1nezjσzi​∑j1n​ezj​ezi​​Softmax 是一个将 logits 转换为概率分布的函数，广泛用于多分类任务。
一文详解Softmax与Sigmoid函数
qq_60865111的博客
03-23 5590
在机器学习和深度学习领域，激活函数是神经网络的核心组件，它们通过引入非线性特性，使模型能够捕捉复杂的模式和关系。在分类任务中，Softmax 和 Sigmoid 是两种最常用的激活函数。尽管它们都能将实数映射到概率空间，但它们的数学定义、应用场景和实际效果有着显著差异。
softmax、以及与sigmoid的比较
weixin_44059001的博客
10-12 666
softmax是什么？ softmax用于多分类过程中，将多个神经元的输出，映射到(0,1)范围内，且这些映射值的总和为1，相当于概率值。 假设某神经网络输出层，共有个元素，其中第i个元素值为，则该元素对应的softmax值为： softmax与sigmoid的区别： sigmoid函数会分别处理各个原始输出值，因此其结果相互独立，概率总和不一定为1 softmax函数的输出值相互关联，其概率的总和始终为1，因此，在softmax函数中，为增大某一类别的概率，其他类别的概率必须相应减少 所以
深度学习方法——实验4：代码比较softmax与sigmoid
时生的博客
04-05 2993
在计机上验证和测试两种激活函数对应的多层神经网络的原理和算法实现，测试多层神经网络的训练效果。
sigmod函数和softmax函数
Qiang的博客
11-24 491
在机器学习推导公式中，sigmod函数和softmax函数的求导过程是十分常见的，现总结推导结果如下： sigmodsigmodsigmod函数的求导结果： f(z)′=f(z)(1−f(z))f(z)'=f(z)(1-f(z))f(z)′=f(z)(1−f(z)) softmaxsoftmaxsoftmax函数的求导结果： f(z)′=1−f(z)f(z)'=1-f(z)f(z)′=1−f(z) 具体推导结果参考如下链接： 小白都能看懂的softmax详解 深度学习：Sigmoid函数与损失函数求导
Sigmod/Softmax变换
热门推荐
皮皮blog
09-03 1万+
softmax建模使用的分布是多项式分布，而logistic则基于伯努利分布。多个logistic回归通过叠加也同样可以实现多分类的效果，但是 softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别。
Sigmoid函数与Softmax函数：概念及区别
loop_syntax648的博客
09-19 309
但是，Sigmoid函数在输入较大或较小的情况下容易出现梯度消失的问题，限制了其在深层神经网络中的应用。综上所述，Sigmoid函数和Softmax函数都是常用的激活函数，用于在神经网络中引入非线性性质。对极端值的敏感性：Sigmoid函数在输入较大或较小的情况下容易出现梯度消失的问题，限制了其在深层神经网络中的应用。Sigmoid函数，也称为Logistic函数，是一种常用的激活函数。其中，e代表自然对数的底数，x_i为输入向量的第i个元素，∑(e^(x_j))表示对所有输入向量元素的指数求和。
逻辑回归 sigmod作用 三种多分类方式 softmax回归 onevsone onevsall 极大似然估计
Arthur_Holmes的博客
07-08 1752
还有就是从线性到非线性 对于二分类任务，似然函数是 整合之后的函数的累乘，例如档y=0时，如果预测值越接近于0,则最后的值会更大。所以如下图所说的是要求最大值。 似然函数就是把一个batch中所有的样本数据的 整合前以及整合后（带入y的值），整合是为了方便展示 似然函数就是一个用来描述 斯塔 参数和x数据进行组合之后，求出的值与真实值之间误差大小的函数，一个关于 斯塔的函...
概率模拟（sigmoid、softmax）
MechMaster
07-23 2292
sigmoid、softmax
Softmax和Sigmoid函数的区别
tangweirensheng的博客
12-05 7953
sigmoid函数用于多标签问题，选取多个标签作为正确答案，它是将任意值归一化为[0-1]之间，并不是不同概率之间的相互关联，且由于远离0的部分梯度较小，容易出现梯度消失现象 Softmax函数用于多分类问题，即从多个分类中选取一个正确答案。Softmax综合了所有输出值的归一化，因此得到的是不同概率之间的相互关联 softmax函数是sigmoid函数在多分类问题上的推广，它是将多分类问题的结果以概率的形式展现出来。 先利用指数函数拉大输入值之间的差距，然后再归一化输出概率值，选择最大概率.
sklearn中有softmax回归模型吗？
07-05
### ### sklearn 是否支持 softmax 回归模型 是的，`scikit-learn`（即 `sklearn`）库支持 Softmax 回归模型，尽管它并没有专门命名为“Softmax Regression”的类。实际上，在 `sklearn` 中，**LogisticRegression** 类通过设置参数 `multi_class='multinomial'` 可以实现 Softmax 回归，适用于多分类任务[^1]。 在默认情况下，`LogisticRegression` 使用的是 **一对多余（One-vs-Rest, OvR）** 的策略进行多分类，但当指定 `multi_class='multinomial'` 时，模型将直接优化多分类目标函数，并使用 Softmax 激活函数来输出各类别的概率分布[^2]。 此外，为了确保使用正确的求解器，建议将 `solver` 参数设置为 `'lbfgs'`、`'newton-cg'` 或 `'saga'`，因为这些求解器支持 multinomial 选项。 #### 示例代码： ```python from sklearn.linear_model import LogisticRegression from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 加载数据集 iris = load_iris() X, y = iris.data, iris.target # 数据标准化（可选但推荐） scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.3, random_state=42) # 构建并训练 Softmax 回归模型 model = LogisticRegression(multi_class='multinomial', solver='lbfgs', max_iter=1000) model.fit(X_train, y_train) # 预测并评估 predictions = model.predict(X_test) accuracy = np.mean(predictions == y_test) print(f"Accuracy: {accuracy:.2f}") ``` 上述代码展示了如何使用 `LogisticRegression` 来构建一个基于 Softmax 的多分类模型，并应用于经典的 Iris 数据集。 #### 注意事项： - 当类别数量较大时，Softmax 回归可能会受到数值稳定性问题的影响，因此建议对输入特征进行标准化处理。 - 若数据集维度较高或样本量较少，应选择正则化强度较大的 `C` 值，以防止过拟合。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

两只蜡笔的小新

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值