常见激活函数（sigmoid/logistic/tanh/softmax/ReLU关系解释）

最新推荐文章于 2025-10-19 08:51:31 发布
原创 最新推荐文章于 2025-10-19 08:51:31 发布 · 8.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了神经网络中常见的激活函数，包括Sigmoid的二分类特性，Softmax的多分类扩展，以及ReLU与softplus之间的联系。ReLU作为平滑函数，通过softplus求导得到logistic函数，进一步泛化为softmax，形成了一条函数关系链。

Sigmoid

神经网络最常见的激活函数就是sigmoid函数。
sigmoid函数意为“S型曲线函数”，它常常指的是logistic（对数几率）函数：

y=11+e−x=exex+1

这里写图片描述
但sigmoid函数还有其他的函数，例如tanh函数等。
tanhx=ex−
最低0.47元/天 解锁文章
逻辑回归(使用激活函数sigmoid)详细介绍
这里是Mae。
03-16 5274
逻辑回归(使用激活函数sigmod)详细介绍
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 3998
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
逻辑回归之sigmoid/tanh/relu激活函数
legalhighhigh的博客
08-02 1万+
z=ωTx+bz=ωTx+bz = \omega^Tx + b y=y=y =
Sigmoid函数详解
最新发布
m0_64132509的博客
10-19 920
定义域−∞∞−∞∞值域01(0, 1)01中心点σ00.5σ00.5数学本质：将实数映射到(0,1)的S形函数核心公式σx11e−xσx1e−x1​重要特性：导数可用自身表示σ′σ1−σσ′σ1−σ应用场景：二分类输出层、概率估计现代替代：在隐藏层中多被ReLU等函数替代，避免梯度消失Sigmoid函数是深度学习发展历程中的重要组成部分，虽然现在在隐藏层中使用较少，但理解其原理对于掌握神经网络的发展脉络至关重要。
常用激活函数activation function（Softmax、Sigmoid、Tanh、ReLU和Leaky ReLU) 附激活函数图像绘制python代码
记录知识，学习分享
04-10 4万+
激活函数是确定神经网络输出的数学方程式。 激活函数的作用：给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。 1、附加到网络中的每个神经元，并根据每个神经元的输入来确定是否应激活。 2、有助于将每个神经元的输出标准化到1到0或-1到1的范围内。 常用非线性激活函数对比 激活函数 公式 函数图像 适合场景 Softmax 多分类任务输出层 Sigmoid 二分类任务输出层，模型隐藏层 Tanh
Sigmoid 函数(logistic函数)笔记
热门推荐
西之可乐的专栏
07-19 5万+
其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。   该函数具有如下的特性：当x趋近于负无穷时，y趋近于0；当x趋近于正无穷时，y趋近于1；当x= 0时，y=0.5.   优点： 1.Sigmoid函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。 2.求导容易。 缺点： 1.由...
sigmoid & logistic
qq_36846729的博客
11-08 1364
1. 吴恩达老师视频中说sigmoid函数就是logistic函数。 2. 查阅复旦大学邱锡鹏老师关于深度学习的书，在第四章中写道： Sigmoid型函数是指一类S型曲线函数，为两端饱和函数。常用的Sigmoid型函数有Logistic函数和Tanh函数 ...
文档：激活函数的比较和优缺点sigmoid tanh relu.pdf
11-10
本文将重点讨论三种常见的激活函数：sigmoid、tanh和ReLU，以及它们各自的优缺点和应用场景。 1. **sigmoid** 函数是一种S型曲线，其公式为`f(x) = 1 / (1 + e^(-x))`。它将实数值映射到(0,1)之间，常用于二分类...
21、深度学习-自学之路-，隐藏层常用激活函数relu、tanh、sigmoid，输出层激活函数softmax，sigmoid。还有很多其他的激活函数。这里我们先说一下常用的。
weixin_43006478的博客
02-11 1193
一、中间层或者是隐藏层的激活函数：第一个：relu激活函数的图片如下，图片看的更直观一些。
常用激活函数Sigmoid & Softmax & ReLU& Tanh的整理总结
weixin_44766038的博客
11-08 2311
激活函数使用原因： 1、如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 2、如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 比如，在单层感知机中，分类的结果大于某个值为一类，小于某个值为一类，这样的话就会使得输出结果在这个点发生阶跃，logistic函数（sig...
激活函数
sophicchen的专栏
12-09 1787
1. 激活函数 导数： 2.sigmoid函数 其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线（S型曲线）。A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说，sigmoid把一个值映射到0-1之间。 该函数具有如下...
Logistic回归与Sigmoid函数
qq_43255766的博客
10-28 3905
一、Logistic回归： 1.1 特征： Logistic回归主要是二分类预测 ，是对概率的估计的一种方法。概率的取值范围在（0，1）。当P>0.5时，预测为1；当P>0.5时，预测为0。(这也就和下文的Sigmoid 函数一样)。 1.2 分类： Logistic回归属于广义线性模型，利用Logistic回归进行分类的主要思想是：根据现有的数据对分类便捷线建立回归。 1.3 ...
机器学习：Logstic回归函数和Sigmoid函数
dami10124的博客
05-19 1139
逻辑回归虽然名称中有"回归"二字，但实际上是一种广泛使用的分类算法，特别适合处理二分类问题。它的核心思想是通过线性回归的组合加上Sigmoid函数，将输出映射到(0,1)区间，表示属于某一类的概率。逻辑回归作为机器学习中最基础的分类算法之一，理解其数学原理和实现细节对学习更复杂的模型至关重要。从数学推导到Python实现，展示了逻辑回归的各个方面：Sigmoid函数的数学性质及其在分类中的作用极大似然估计与交叉熵损失的推导梯度下降算法的具体实现各种改进和扩展方法。
logistic挤压型激活函数（机器学习）
公众号：风景邮递Yuan的博客
11-12 1466
在二分类任务中最后一层使用的对率函数与在神经网络层与层之间连接的Sigmoid激活函数，是同样的形式。所以它既是激活函数，又是分类函数，是个特例。从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区， 将非重点特征推向两侧区。一个是 Logistic 函数，另一个是Tanh 函数。的作用，所以叫挤压型激活函数，又可以叫饱和型激活函数。型的函数，在神经网络中，有两个常用的。其输出在两端是饱和的，都具有S。第一步：这一类函数的特点。
【机器学习】【逻辑回归】Logistic函数/Sigmoid函数的详细公式推导
蔚蓝的天空Tom
03-19 3万+
sigmoid函数的数学公式                sigmoid函数的因变量x取值范围是-∞到+∞，(-∞，+∞)，但是sigmoid函数的值域是(0, 1)。不管x取什么值其对应的sigmoid函数值一定会落到(0,1)范围内~~~漂亮的logistic 曲线sigmoid函数对应的图形就是logistic曲线，logistic曲线对应的函数就是sigmoid函数。下面我们用通过spy...
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现
我的个人博客
12-23 2964
逻辑回归概念及原理，激活函数sigmoid函数，损失以及优化，逻辑回归API，sklearn.linear_model.LogisticRegression，良／恶性乳腺癌肿瘤分类预测案例代码实现
《Pytorch深度学习实践》P6 逻辑斯蒂回归（Logistic Regression） 代码+笔记：Sigmoid函数（Logistic等）、交叉熵损失（BCE）
大臣不想在月亮上上热搜
10-14 1290
《Pytorch深度学习实践》P6 逻辑斯蒂回归（Logistic Regression） 代码+笔记：Sigmoid函数（Logistic等）、交叉熵损失（BCE）
激活函数汇总
qq_59815419的博客
04-19 2164
特点：Softmax 函数可视为 Sigmoid 函数的泛化形式， 其本质就是将一个 K 维的任意实数向量压缩（映射）成另一个 K 维的实数向量， 其中向量中的每个元素的取值范围都介于 [ 0 ， 1 ] [0，1][0，1] 之间(可以理解为概率)。也就是说，相比于早期的激活函数，Softplus函数和ReLU函数更加接近脑神经元的激活模型，而神经网络正是基于脑神经科学发展而来，这两个激活函数的应用促成了神经网络研究的新浪潮。和 Tanh一样，它是反对称的、零中心、可微分的，值域在-1到1之间。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值