Sigmod/Softmax变换

原创 已于 2025-08-07 20:55:57 修改 · 1.2w 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sigmod #logistic #softmax

于 2017-09-03 11:39:32 首次发布
本文详细介绍了Sigmoid和Softmax函数的定义、性质及应用。Sigmoid函数用于二分类问题，可将实数映射到(0,1)区间；Softmax函数则用于多分类问题，将实数向量转化为概率分布。

sigmoid函数/Logistic 函数

取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。

sigmoid函数性质

1 ”对称”：1−σ(s)=σ(−s)

2 “导数”：σ′(s)=σ(s)(1−σ(s))

3 sigmoid 原函数及导数图形如下：


Note: 从导数表达式可知，logit梯度最大为0.25。

logistic函数用于数据归一化

新数据=1/（1+e^(-原数据)）

P(i)=1/1+exp(−θ'x)

这个函数的作用就是使得P(i)在负无穷到0的区间趋向于0，在0到正无穷的区间趋向于1。同样，函数（包括下面的softmax）加入了e的幂函数正是为了两极化：正样本的结果将趋近于1，而负样本的结果趋近于0。这样为多类别分类提供了方便（可以把P(i)看作是样本属于类别i的概率）。

logit(P) = log(P / (1-P)) = a + b*x 以及 probit(P) = a + b*x

这两个连接函数的性质使得P的取值被放大到整个实数轴上。

事实上可以把上面的公式改写一下：

P = exp(a + b*x) / (1 + exp(a + b*x)) 或者 P = pnorm(a + b*x)（这个是标准正态分布的分布函数）

Note: 上半部分图形显示了概率P随着自变量变化而变化的情况，下半部分图形显示了这种变化的速度的变化。可以看得出来，概率P与自变量仍然存在或多或少的线性关系，主要是在头尾两端被连接函数扭曲了，从而实现了[0,1]限制。同时，自变量取值靠近中间的时候，概率P变化比较快，自变量取值靠近两端的时候，概率P基本不再变化。这就跟我们的直观理解相符合了，似乎是某种边际效用递减的特点。

[logistic回归的一些直观理解(1.连接函数 logit probit)]

神经网络中的激活函数：sigmoid函数/Logistic 函数-软饱和和硬饱和

[神经网络中的激活函数 ]

逻辑回归中的sigmod函数

[Machine Learning - VI. Logistic Regression逻辑回归 (Week 3) ]

数据的标准化（normalization）和归一化中的应用

[数据标准化/归一化normalization ]

某小皮

softmax

[关于softmax-CSDN博客]

Sigmoid 和 Softmax 区别

sigmoid

将一个real value映射到（0,1）的区间，用来做二分类。或者将一个k维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….），其中 bi 是一个 0～1 的常数，但是输出神经元之和不为 1.0。

softmax

把一个 k 维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中 bi 是一个 0～1 的常数，输出神经元之和为 1.0，所以相当于概率值，然后可以根据 bi 的概率大小来进行多分类的任务。

[常用激活函数比较]

对于二分类问题

（如果最后一层输出层logit是1元的）sigmoid 和 softmax 是（完全）一样的，求的都是 cross entropy loss，而 softmax 可以用于多分类问题。

（如果最后一层输出层logit是2元的）sigmoid 和 softmax 是（等价）一样的。

[二分类 输出层使用两个神经元和只使用一个神经元的差异]

多类分类multi_label classification和多分类multi classification

多类分类multi_label classification和多分类multi classification的区别

softmax建模使用的分布是多项式分布，而logistic则基于伯努利分布。多个logistic回归通过叠加也同样可以实现多分类的效果，但是 softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别。

示例
result = torch.sigmoid(logits) if is_multi_label else torch.nn.functional.softmax(logits, dim=1)

其中logits = (batch_size, label_size)

result：

对于多类分类来说，每个样本的label_size个预测值都在0-1之间，但是和不为1。
对于多分类来说，每个样本的label_size个预测值都在0-1之间，且和不为1。

[softmax如何作用与多标签分类？ - 知乎]

当然使用的loss也不一样

[BCELoss,BCEWithLogitsLoss和CrossEntropyLoss的区别]

from: Sigmod/Softmax变换_sigmoid变换_-柚子皮-的博客-CSDN博客

ref:

DataScience：数据预处理/特征工程之非线性变换—log对数变换、sigmoid/softmax变换的概述与对比
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-19 4004
​ DataScience：数据预处理/特征工程之非线性变换—log对数变换、sigmoid/softmax变换的概述与对比 目录 深入探讨与分析机器学习中的数据处理之非线性变换 相关文章 DataScience：数据预处理/特征工程之非线性变换—log对数变换、sigmoid/softmax变换的概述与对比 DataScience：数据预处理/特征工程之非线性变换—log对数变换、sigmoid/softmax变换的概述与对比实现代码 深入探讨与分析机器学习中的数据处理之非线性变换 lo
神经网络：Sigmoid 和 Softmax
XIAO_yux的博客
12-11 1686
Sigmoid 将输入值（logits）映射到 [0,1][0, 1] 的范围，用于表示每个独立事件的概率。Softmax 将一组输入值（logits）归一化为概率分布，输出的每个值表示该类别的相对概率，总和为 1。是两种常用的激活函数，它们的数学形式、作用范围以及适用场景都有显著的不同。以下从多个方面进行详细比较。
sigmoid和softmax总结
热门推荐
老哥的专栏
10-13 13万+
sigmoid函数（也叫逻辑斯谛函数）： 　引用wiki百科的定义：　　A logistic function or logistic curve is a common “S” shape (sigmoid curve).　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。　　logistic曲线如下： 　　同样，我们贴一下wiki百科对softma
Sigmoid函数详解
最新发布
m0_64132509的博客
10-19 978
定义域−∞∞−∞∞值域01(0, 1)01中心点σ00.5σ00.5数学本质：将实数映射到(0,1)的S形函数核心公式σx11e−xσx1e−x1​重要特性：导数可用自身表示σ′σ1−σσ′σ1−σ应用场景：二分类输出层、概率估计现代替代：在隐藏层中多被ReLU等函数替代，避免梯度消失Sigmoid函数是深度学习发展历程中的重要组成部分，虽然现在在隐藏层中使用较少，但理解其原理对于掌握神经网络的发展脉络至关重要。
机器学习中的两个重要函数--sigmoid和softmax
weixin_41478015的博客
09-13 2994
机器学习中，常常见到两个函数名称：sigmoid和softmax。前者在神经网络中反复出现，也被称为神经元的激活函数；后者则出现在很多分类算法中，尤其是多分类的场景，用来判断哪种分类结果的概率更大。 本文主要介绍这两个函数的定义，形态，在算法中的作用，以及两个函数之间的联系。 1. sigmoid函数 1.1. 函数定义 sigmoid函数一类函数的统称，常见的sigmoid函数有：\(y=\f...
Softmax和sigmoid
vivi_cin的博客
06-24 1159
sigmoid与softmax
概率模拟（sigmoid、softmax）
MechMaster
07-23 2313
sigmoid、softmax
二分类时 sigmod 为等价 softmax
大多_C的博客
08-25 787
两个类别（二分类）情况下，softmax 确实等价于 sigmoid 函数。其中 z1 和 z2 是网络对两个类别的原始输出（logits）。这里，我们将分子分母同时除以 exp(z1)。这正好是 sigmoid(x) 的形式。可以一个简单的案例，展示如何使用神经网络中的Sigmoid激活函数来解决二分类问题。我们将使用Python和深度学习库Keras来实现这个示例。假设我们有一个简单的数据集用于二分类任务，例如对某些特征进行分类以预测结果是"0"还是"1"。
解决sigmoid/softmax指数运算溢出问题及python实现
shiaiao的博客
10-18 7053
sigmoid/softmax指数运算溢出问题sigmoid/softmax指数运算溢出问题解决sigmoidsigmoidsigmoid函数溢出问题解决LR模型中计算cross entropy溢出问题解决softmaxsoftmaxsoftmax函数溢出问题参考 sigmoid/softmax指数运算溢出问题 sigmoid和softmax函数在计算中，都会用到指数运算e−xe^{-x}e−x或exe^{x}ex,如果在e−xe^{-x}e−x中xxx是一个很小的负数，如-128等，或者在e−e^{
Sigmoid 与 Softmax 的区别
HLBoy_happy的博客
07-09 1万+
Sigmoid 与 Softmax 的区别结论定义图例 参考：Multi-label vs. Multi-class Classification: Sigmoid vs. Softmax、Sigmoid function、Softmax function 结论 sigmoid：使大的更大、小的更小（保持数值被归整到0-1之间） softmax：使所有的值之和为1（保持数值间的大小关系） 定义 sigmoid 处理的是单个输入值，不关注整体输入数据的关系。 f(yi)=11+e−yi for&nb
Sigmoid与Softmax：从二分类到多分类的深度解析
ZJQ的博客
05-16 779
Sigmoid和Softmax函数在神经网络中均作为激活函数，用于将输入映射为概率分布。Sigmoid函数适用于二分类问题，输出单个0到1之间的值，表示属于正类的概率。Softmax函数则是Sigmoid的推广，适用于多分类问题，输出一个概率向量，所有元素之和为1。两者在函数形式、值域和应用场景上存在差异：Sigmoid输出单个概率值，常用于二分类任务和LSTM的门控机制；Softmax输出概率向量，用于多分类任务如手写数字识别。此外，两者的导数计算方式也不同，Sigmoid的导数较为简单，而Softmax
sigmod函数和softmax函数
Qiang的博客
11-24 500
在机器学习推导公式中，sigmod函数和softmax函数的求导过程是十分常见的，现总结推导结果如下： sigmodsigmodsigmod函数的求导结果： f(z)′=f(z)(1−f(z))f(z)'=f(z)(1-f(z))f(z)′=f(z)(1−f(z)) softmaxsoftmaxsoftmax函数的求导结果： f(z)′=1−f(z)f(z)'=1-f(z)f(z)′=1−f(z) 具体推导结果参考如下链接： 小白都能看懂的softmax详解 深度学习：Sigmoid函数与损失函数求导
详解softmax和sigmoid
CFH1021的博客
03-13 4069
详解softmax和sigmoid激活函数简介softmax函数softmax函数的性质softmax函数的使用softmax的实现代码python实现softmax函数图像sigmoid函数sigmoid函数的性质sigmoid函数的使用sigmoid的实现代码python实现sigmoid函数绘图softmax和sigmoid的对比 激活函数简介 从事或对人工智能行业有了解的人员来说，相信对s...
一文详解Softmax与Sigmoid函数
qq_60865111的博客
03-23 5827
在机器学习和深度学习领域，激活函数是神经网络的核心组件，它们通过引入非线性特性，使模型能够捕捉复杂的模式和关系。在分类任务中，Softmax 和 Sigmoid 是两种最常用的激活函数。尽管它们都能将实数映射到概率空间，但它们的数学定义、应用场景和实际效果有着显著差异。
sigmoid和softmax函数
qq_38088689的博客
02-08 528
激活函数sigmoid和softmax
Sigmoid和Softmax的区别和联系
python_plus的博客
03-27 2846
本文介绍了Softmax函数和Sigmoid函数在二分类和多分类问题中的联系与区别，并结合代码，做了可视化展示
softmax和sigmod
weixin_39034980的博客
09-25 932
sigmoid函数：  　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。 　　logistic曲线如下：  　　 　　这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个K  维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0
深入理解Softmax：从“Hard”到“Soft”的转变
qq_22841387的博客
08-19 1556
通过将“Hard”选择转变为“Soft”选择，Softmax函数不仅为分类任务提供了概率分布，还通过指数函数的巧妙使用，放大了类别之间的差距。然而，在实际应用中，我们需要注意数值稳定性问题，通过适当的变换避免计算溢出。此外，了解Softmax的局限性和改进方法，能够帮助我们在更多复杂场景下更好地应用这一函数。最后，当与交叉熵损失函数配合使用时，Softmax函数展现出了极高的效率和有效性，使得它成为神经网络分类任务中的标准工具。
Softmax和Sigmoid
MrLi的博客
05-08 537
在神经网络中，Sigmoid函数常用作激活函数，将神经元的输入转换为0到1之间的输出值。Sigmoid函数：输出的是一个介于0和1之间的值，表示某个事件发生的概率。但是，当用于多分类问题时，Sigmoid函数会为每个类别输出一个独立的概率值，这些概率值并不保证相加为1。Softmax函数：在反向传播过程中，Softmax函数的梯度计算涉及到所有类别的输出值。Softmax函数：输出的是一个概率分布，即所有类别的概率之和为1。因此，Softmax函数的输出值都在0到1之间，且所有输出值的和为1。
sigmod与softmax
08-06
<think>首先，用户的问题是：“我想比较sigmoid与softmax函数在机器学习中的区别和应用场景 请问sigmoid函数与softmax函数的区别以及在分类任务中的应用”。我需要基于系统指令和用户可见层的要求来回答。 系统指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 - 参考站内引用：引用[1]和引用[2]是关于sigmoid和softmax函数的对比。 参考站内引用： - 引用[1]：sigmoid函数常用于二分类，softmax函数常用于多分类，两者都起到压缩作用。 - 引用[2]：详细比较了sigmoid和softmax的区别：sigmoid用于多标签分类（多个标签作为正确答案），softmax用于多分类（一个正确答案）；sigmoid输出范围[0,1]，可视为概率；softmax输出多元分布，概率和为1。在二分类中，sigmoid针对两点分布，softmax针对多项分布。 我的回答需要结构清晰，逐步解决问题。结构建议： 1. 介绍sigmoid和softmax函数的基本定义。 2. 比较它们的区别。 3. 讨论在分类任务中的应用场景。 4. 生成相关问题。 使用中文回答。 数学表达式： - 行内：如$sigmoid(x)$ - 独立：如$$sigmoid(x) = \frac{1}{1 + e^{-x}}$$ 引用站内内容时，在段落末尾添加引用标识，如[^1]。 回答大纲： 1. **引言**：简要介绍sigmoid和softmax函数在机器学习中的重要性。 2. **基本定义**： - 定义sigmoid函数。 - 定义softmax函数。 3. **区别**： - 输出范围。 - 适用任务。 - 概率解释。 - 在二分类中的异同。 4. **应用场景**： - Sigmoid在二分类和多标签分类中的应用。 - Softmax在多分类中的应用。 5. **总结**。 6. **相关问题**：生成2-3个相关问题。 确保内容真实可靠：基于标准机器学习知识。 现在，构建回答。</think>### Sigmoid函数与Softmax函数的区别及应用场景 在机器学习中，Sigmoid函数和Softmax函数都是常用的激活函数，它们可以将神经网络的输出转换为概率分布，便于分类任务。但它们的设计目的、数学特性和应用场景存在显著差异。下面我将逐步解释它们的区别和在分类任务中的应用，帮助您全面理解。 #### 1. **基本定义** - **Sigmoid函数**：也称为逻辑函数（Logistic Function），它将任意实数输入压缩到(0,1)区间内。数学表达式为： $$sigmoid(x) = \frac{1}{1 + e^{-x}}$$ 其中，$x$是输入值。输出值可解释为某个类别的概率，常用于二分类问题[^1]。 - **Softmax函数**：它将一个向量转换为一个概率分布，所有输出元素之和为1。数学表达式为： $$softmax(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$ 其中，$\mathbf{z} = [z_1, z_2, \dots, z_K]$是输入向量，$K$是类别总数，$i$表示第$i$个类别。Softmax适用于多分类问题，输出是一个多元分布[^2]。 #### 2. **主要区别** Sigmoid和Softmax的核心区别在于它们的输出特性和适用任务： - **输出范围与概率解释**： - Sigmoid函数输出单个值在$[0,1]$区间内，表示一个类别的概率（如正类概率为$P$，则负类概率为$1-P$）。这基于两点分布（Bernoulli Distribution），即只针对一个类别建模。 - Softmax函数输出一个向量，所有元素之和为1，表示多个类别的概率分布（如$P(y=1), P(y=2), \dots, P(y=K)$）。这基于多项分布（Multinomial Distribution），对多个类别同时建模[^2]。 - **适用任务**： - Sigmoid主要用于**二分类任务**（例如，判断邮件是否为垃圾邮件）或**多标签分类任务**（例如，一个图像同时包含多个标签，如“猫”和“狗”）。在多标签任务中，每个类别独立使用Sigmoid，输出多个概率值。 - Softmax主要用于**多分类任务**（例如，手写数字识别有10个类别），其中每个输入只能属于一个类别（互斥），输出概率和为1[^1][^2]。 - **在二分类中的异同**： - 当类别数为2时，Softmax可退化为类似Sigmoid的形式。但Sigmoid直接建模一个类别（如正类），而Softmax建模两个类别（正类和负类）。例如： - Sigmoid：输出$P(y=1) = sigmoid(x)$，则$P(y=0) = 1 - P(y=1)$。 - Softmax：输出$P(y=1) = \frac{e^{z_1}}{e^{z_1} + e^{z_0}}$，$P(y=0) = \frac{e^{z_0}}{e^{z_1} + e^{z_0}}$。 本质上，Sigmoid是Softmax在二分类时的特例，但Sigmoid更简洁，计算效率更高[^2]。 - **其他差异**： - **梯度行为**：Sigmoid的梯度在输入值较大时趋于0，可能导致梯度消失问题；Softmax的梯度计算涉及所有类别，更适合多分类优化。 - **输入维度**：Sigmoid处理标量输入，Softmax处理向量输入。 #### 3. **在分类任务中的应用场景** - **Sigmoid函数的应用**： - **二分类任务**：例如，逻辑回归模型中，Sigmoid将线性输出转换为概率（如$P(\text{正类}) > 0.5$则预测为正类）。在二分类神经网络中，最后一层常用Sigmoid。 - **多标签分类任务**：例如，图像标注任务中，一个图片可能同时属于“猫”和“户外”，每个标签独立使用Sigmoid输出概率（如Sigmoid输出$[0.9, 0.7]$表示两个标签的概率）。 - 优势：计算简单，适用于非互斥类别。但需注意，输出概率不保证和为1，可能需额外阈值处理。 - **Softmax函数的应用**： - **多分类任务**：例如，在卷积神经网络（CNN）中用于MNIST手写数字识别（10个类别），Softmax输出每个数字的概率分布（如$[0.1, 0.8, 0.1, \dots]$表示预测为数字1的概率最高）。 - **互斥分类场景**：如情感分析（正面、中性、负面），Softmax确保只有一个类别被选中。 - 优势：输出概率和固定为1，便于交叉熵损失函数优化。但在类别数多时，计算开销较大。 总结来说，Sigmoid更适合二分类或多标签任务（独立概率），而Softmax专为多分类任务（互斥概率）设计。选择时需考虑任务特性：如果类别互斥，优先用Softmax；如果类别可共存，用Sigmoid[^1][^2]。 #### 相关问题 1. Sigmoid函数在梯度下降中会遇到什么问题？如何缓解？ 2. 在多标签分类任务中，除了Sigmoid，还有哪些激活函数可用？ 3. Softmax函数在类别不平衡时如何优化？
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值