常见激活函数的汇总

最新推荐文章于 2024-08-06 09:09:59 发布
最新推荐文章于 2024-08-06 09:09:59 发布
阅读量232 收藏
点赞数
分类专栏： 机器学习 文章标签： 深度学习 神经网络 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D0644727/article/details/109696367
版权
本文汇总了深度学习中常见的激活函数，包括tf.nn.sigmoid、tf.math.tanh、tf.nn.relu和tf.nn.leak_relu。sigmoid函数在多级级联时易导致梯度消失，而tanh函数在反向传播时计算相对较慢。relu函数可能出现神经元死亡问题，leak relu则作为relu的改进版。对于初学者，推荐使用relu激活函数，并配合合适的学习率和输入特征标准化。
摘要由CSDN通过智能技术生成

激活函数

tf.nn.sigmoid(x)

相当于对数据进行归一化，
但是在实际应用过程中，他的导数在0-0.25之间，并且他在多级级联的时候会造成梯度的消失，因此在实际应用过程中很少应用。
并且逆运算为指数，在反向传播过程中耗时
在这里插入图片描述

tf.math.tanh(x)

在这里插入图片描述

tf.nn.relu()

反向传播过程中会出现由于出现负数不能激活神经元，导致其“死亡”的情况。
在这里插入图片描述

tf.nn.leak_relu(x)

在这里插入图片描述
初学者的激活函数的选择建议：
1.首选relu激活函数
2.学习率设置较小的值

最低0.47元/天 解锁文章
D0644727
关注
专栏目录
YOLOv5的Tricks | 【Trick1】关于激活函数Activation的改进汇总
Clichong
06-01 7190
如有错误，恳请指出。在yolov5模型搭建的过程实现中，额外实现了很多非常新奇有趣的激活函数，不再是的简单nn.ReLU等，所以这里使用这篇笔记来对这一些列的激活函数进行总结归纳。关于激活函数，在很早之前我写过一篇笔记介绍，笔记链接：激活函数与Loss函数求导，在这里主要介绍的是目标检测yolov5算法中实现的一些的激活函数，主要设计ReLU函数及其变体，包含ReLU，PReLU，RReLU，FReLU，Swish，Mish，Acon系列，Dynamic ReLU系列。ReLU相比之前的 Sigmoid/t
神经网络基础部件-激活函数详解
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
01-10 618
本文分析了激活函数对于神经网络的必要性，同时讲解了几种常见的激活函数的原理，并给出相关公式、代码和示例图。从机器学习的角度来看，神经网络其实就是一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得多层神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要学习的参数，其可以在机器学习的框架下通过梯度下降方法来进行学习。
神经网络激活函数汇总
11-04
共30种神经网络激活函数汇总，其中25种有函数图像以及导数图像，包括函数表达式。
激活函数汇总
weixin_33895657的博客
03-01 92
转载于:https://www.cnblogs.com/leebxo/p/10456303.html
激活函数总结（三十五）：激活函数补充(KAF、Siren)
最新发布
生活需要深度
08-06 933
在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。KAF 激活函数的主要思想是将输入通过核函数进行映射，然后再应用标准的激活函数，从而实现更高维度的非线性变换。计算成本： 由于正弦函数涉及三角函数的计算，相对于某些简单的激活函数，Siren 可能具有较高的计算成本。核方法： 引入核函数的思想可以使神经网络具备核方法的一些优点，如处理高维数据和学习复杂的非线性函数。平滑性： 正弦函数是一个平滑的函数，可以提供平滑的非线性变换，有助于避免梯度消失问题。
激活函数知识点汇总
promisejia
03-25 751
https://blog.csdn.net/u011684265/article/details/78039280 relu 函数 relu（x） = max ( x, 0 ) 为什么使用relu？ 第一，采用sigmoid等函数，算激活函数时候（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相当大，而采用Relu激活函数，整个过程的计算量节省很多。 第二，对于深层网络，...
常用的激活函数合集（详细版）
热门推荐
caip12999203000的博客
09-27 4万+
从激活函数的公式及导函数、图像、优缺点或特点来描述了激活函数，以及总结了激活函数之间的优势，并且提供了pytorch的代码案例，以便于大家快速上手。
常用激活函数理解与总结
weixin_43751558的博客
12-31 791
什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 为什么需要激活函数 如果没有激活函数，不管神经网络有多少层，输出都是输入的线性组合，这样的神经网络拟合能力有限。而引入非线性的激活函数后，神经网络不再是线性的，而可以逼近任意函数，因此其表达能力会更加强大。 常用激活函数 常
【DL经典回顾】激活函数大汇总（十五）（LogSoftmax附代码和详细公式）
悦学共鸣，温柔以待，汇聚光芒，共同成长
03-16 1208
LogSoftmax函数由于其在数值稳定性和与交叉熵损失计算结合的高效性方面的优势，已经成为多分类深度学习模型设计的重要组成部分。本博客重点介绍这个激活函数。
激活函数总结
MemoryHeroLi的博客
11-06 823
几种常见激活函数的总结 转载自https://blog.csdn.net/kangyi411/article/details/78969642 1. sigmod函数 在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的...
全球招聘 | 敬贤礼士！华南理工大学广州国际校区全球英才邀请函
idol24的博客
05-18 244
- END -来源 | 广州国际校区人力资源与发展事务办公室编辑 | 广州国际校区综合事务办公室猜您喜欢：戳我，查看GAN的系列专辑~！一顿午饭外卖，成为CV视觉前沿弄潮儿！CVPR 2022 | 25+方向、最新50篇GAN论文ICCV 2021 | 35个主题GAN论文汇总超110篇！CVPR 2021最全GAN论文梳理超100篇！CVPR 2020最全GAN论...
常见激活函数总结
weixin_42517469的博客
08-12 165
1. sigmoid 公式： sigmoid(z)=11+e−z sigmoid(z) = \frac {1} {1+e^{-z }} sigmoid(z)=1+e−z1​ sigmoid能够把输入映射到0和1之间，在物理上最接 近神经元，可以被表示成概率，或者用于数据的归 一化。但是它有两个严重的缺陷： 其一，梯度消失——导数 f’(x)=f(x)(1-f(x))， 当x趋于无穷时，f(x)的两侧导数逐渐趋于0。在后 向传递时，sigmoid向下传递的梯度包含了一个 f’(x)因子，因此，一旦落入.
42个激活函数的全面总结
deephub
04-26 3335
2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。 例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。 如果我们包括 Identity Act
深度学习——激活函数总结
loveliuzz的博客
09-04 3273
        激活函数主要作用是：加入非线性的因素，以解决线性模型表达能力不足的缺陷，在整个神经网络里面起到至关重要的作用。因为神经网络的数学基础是处处可微的，所以选取的激活函数要能保证数据输入与输出也是可微的。在神经网络中常用的激活函数有Sigmoid、Tanh、ReLU、Softplus以及变种函数Noisy ReLU、Leaky ReLU、Elus、Swish等。 1、Sigmoid函数...
激活函数
BeforeEasy的博客
04-14 556
在神经网络中，上层的输出成为下层的输入之前，先经过一层激活函数，更符合自然界的神经网络特性，过小的刺激就不用在继续传播下去了； 而且，若不用激活函数，无论神经网络有多少层，输出都是输入的线性组合，引入非线性函数作为激活函数，可以使得学习能力更强 sigmoid 非常常用的激活函数 函数图形为S型 将输入压缩到0-1范围内 不过由于其导数的特性，容易导致梯度爆炸或消失，尤其是梯度消失 tanh ...
激活函数（26个）
梁小憨憨的博客
01-20 2266
最近在学习网络，发现一会这个网络用了这个激活函数，一会那个网络用了那个激活函数，这些激活函数都有什么作用啊，不知道，这里学习一下，整理下来，方便以后查阅。
深度学习之激活函数表
weixin_34318326的博客
06-20 115
转载于:https://www.cnblogs.com/llfctt/p/9204863.html
30种神经网络激活函数详解：影响与应用
本文汇总了30种常见的神经网络激活函数，包括了25种配有时函数图像及其导数图像，以帮助理解和选择最适合特定任务的函数。 1. **阶跃函数（Step函数）**：起源于早期神经网络对人类神经元行为的模拟，输出仅在输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值