激活函数篇

最新推荐文章于 2024-08-02 11:59:28 发布
最新推荐文章于 2024-08-02 11:59:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： 在b站学习机器学习的笔记 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41149572/article/details/122906903
版权

1.激活函数的发展

sigmoid 会饱和，造成梯度消失 --》ReLU

ReLU 负半轴是死区，梯度为0 --》LeakyReLU, PReLU

强调梯度和权值分布的稳定性 --》ELU, 以及较新的SELU

网络结构太深，梯度无法传播 --》highway

干脆不要highway参数，变成残差 --》ResNet


2.激活函数的特性：

  1. 非线性：导数不是常数。这是多层神经经网络的基础，保证多层网络不退化成单层线性网络。也是激活函数的意义所在。
  2. 几乎处处可微：保证了优化过程中，梯度的可计算性。（SGD无法收敛到梯度接近0的位置因此有限点处不可微影响不大）
  3. 计算简单：激活函数在神经网络向前的计算次数与神经元的个数成正比 --》ReLU
今天也不能熬夜
关注
专栏目录
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 7749
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数汇总篇 | YOLOv8 更换激活函数 | 20+ 种汇总
YOLOv8项目贡献者
08-09 5940
YOLOv8 更换 20+ 种激活函数
激活函数发展的新里程——EvoNorms
热门推荐
August-us的博客
06-06 2万+
激活函数发展的新里程——EvoNormsEvoNorm-B0pytorch实现EvoNorms-Spytorch实现   之所以把这个函数称为激活函数发展的新里程，我的理由就是给人们提供了一种新视角，甚至说打破了之前的固有思维。神经网络为了更加容易训练，提出了Normalization，这种思路取得的成功，使得现在的神经网络越来越离不开归一化。之前写过一篇关于Normalization的文章，是站在框架的角度去写的，有兴趣可以阅读一下，也便于对本文理解深刻。   随着网络的发展，归一化通常和激活函数都是在一
常用激活函数总结与发展历程
import_torch_as_tf
12-12 2665
一、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值加权求和后传递给下一层，在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 二、激活函数的作用——为什么要使用激活函数 没有激活函数，无论神经网络有多少层，输出都是输入的线性组合。 激活函数给神经元引入了非线性因素，使得神经网络...
【Mo 人工智能技术博客】激活函数（一）浅谈激活函数以及其发展
Mo 的博客
09-01 883
【专栏2】激活函数（一）浅谈激活函数以及其发展 激活函数是神经网络的相当重要的一部分，在神经网络的发展史上，各种激活函数也是一个研究的方向。我们在学习中，往往没有思考过——为什么用这个函数以及它们是从何而来？ ![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9qcGVnLzE2MjY5NTEvMTU5ODcwNTk1NjkyMi0yYjM5NTM1NC1jZjM3LTRlMWYtYjRiNy1iY
激活函数的历史与演变：从 sigmoid 到 ReLU
AI天才研究院
01-07 880
1.背景介绍 深度学习是一种人工智能技术，它主要通过多层神经网络来实现模型的训练和预测。在这种神经网络中，每个神经元的输出是通过一个激活函数来计算的。激活函数的作用是将输入映射到输出，使得神经网络能够学习非线性关系。 在深度学习的早期，主要使用的激活函数是 sigmoid 函数和 hyperbolic tangent 函数(tanh)。随着深度学习的发展，人们发现 sigmoid 和 tanh...
激活函数 (Activation Function)
AI天才研究院
06-14 631
1. 背景介绍 激活函数（Activation Function）在人工神经网络中扮演着重要的角色。它决定了神经元在接收到输入后是否会被激活，以及激活的程度。激活函数的选择对于神经网络的性能和表达能力有着深远的影响。在这篇文章中，我们将深入探讨激活函数的原理、常见的激活函数以及它们在不同应用场景中的应用。
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
最新发布
kay_545
08-02 1230
yolov8改进，激活函数，yolov8
[小白系列]sigmoid和tanh激活函数的绘制(分开画，合起来画，总有一款适合你），逐行代码详解
12-21
本篇文章将详细讲解两种常见的激活函数——Sigmoid和Tanh，并通过Python代码演示如何分别绘制它们的图形以及如何将它们合在一起画在同一张图上。 Sigmoid函数，也称为Logistic函数，表达式为： \[ f(x) = \frac{1}{...
深度学习笔记（二）：激活函数的前世今生
不积跬步，无以至千里！
03-08 1万+
目录一、激活函数的前世今生二、不得不知的激活函数1. Sigmoid2. Tanh3. ReLU4. Leaky ReLU5. Softmax 一、激活函数的前世今生 早在1958 年，美国心理学家 Frank Rosenblatt 就提出了第一个可以自动学习权重的神经元模型，称为感知机。它的模型如下： 从图中可以看出，他使用的是一个简单的一层网络，其中激活函数是阶跃函数（这也是最早使用的激活函...
激活函数的性质、表达式及其优劣：Sigmoid -> Tanh -> ReLU -> Leaky ReLU 、PReLU、RReLU 、ELUs-> Maxout
qq_18310041的博客
07-11 7545
激活函数的性质 1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。 2. 可微性：可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU，只满足几乎处处可微（即仅在有限个点处不可微）。对于SGD算法来说，由于几乎不可能收敛到梯度接近零的位置，有限的不可微点对于优化结果不会有很大影响。 3. 计算简...
激活函数总结.md
煤厂长的挖煤日志
12-22 2746
激活函数激活函数在神经网络中的作用作为神经网络的基本单元——神经元的结构如下图所示，在一个神经元中f函数通常被称为激活函数（激励函数，传递函数）。它的引入参考的是生物神经元，生物神经元一般具有激活态与抑制态两种模态，当从其他神经元接收的生物信号大于某一阈值后神经元就会变为激活态，否则则为抑制态，因而最初的激活函数（sigmoid，tanh）都具有s型的曲线。而对于人工神经网络而言激活函数起到的作用可
深度学习中的激活函数导引
baidu_32211041的博客
09-23 1519
http://mp.weixin.qq.com/s__biz=MzI1NTE4NTUwOQ==&mid=2650325236&idx=1&sn=7bd8510d59ddc14e5d4036f2acaeaf8d&scene=0#wechat_redirect 摘要近年来，深度学习在计算机视觉领域取得了引人注目的成果，其中一个重要因素是激活函数的发展。新型激活函数ReLU克服了梯度消失，使得
常用的激活函数对比
黄飞的博客专栏
03-19 9855
神经网络中激活函数的主要作用是提供网络的非线性建模能力，如不特别说明，激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据。加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。因此，激活函数是深度神经网络中不可或缺的部分。在ICML2016的一篇
激活函数之深入解读
kiss__soul的博客
09-12 3459
导读：什么是激活函数？ 在神经网络中，对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们的样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。 这就是为什么要有激活函数：激活函数是用来加入非线性因素的，因为线性模型的表达力不够 所以激活函数，并...
激活函数对比分析
tiankong_的博客
03-11 1292
1.激活函数的作用 提供网络的非线性建模能力 2.激活函数中的常见概念 饱和 当一个激活函数h(x)满足 limn→+∞h′(x)=0limn→+∞h′(x)=0 时，我们称之为右饱和。 当一个激活函数h(x)满足 limn→−∞h′(x)=0limn→−∞h′(x)=0 时，我们称之为左饱和。 当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。 硬饱和与软饱和 对任意的...
深度学习中的激活函数
wuxiaosi808的博客
09-26 4919
圈 摘要: 正如我们的人脑一样，在一个层次上和神经元网络中有数百万个神经元，这些神经元通过一种称之为synapses（突触）的结构彼此紧紧相连。它可以通过 Axons（轴突），将电信号从一个层传递到另一个层。这就是我们人类学习 ... 网络 模型 机器学习 神经网络 网络技术 函数 什么是人工神经网络？ 现在，我相信我们大家都很熟悉什么是A-NN了，但接下来请允许我按
激活函数
u011832926的博客
05-17 4265
形象的解释神经网络激活函数的作用是什么？] 激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。首先我们有这个需求，就是二分类问题，如我要将下面的三角形和圆形点进行正确的分类，如下图：利用我们单层的感知机, 用它可以划出一条线, 把平面分割开：上图直线是由得到，那么该感知器实现预测的功能步骤如下...
深度学习：激活函数特性与选择指南
"这篇内容主要讨论了机器学习中激活函数的重要性以及各种常见激活函数的特点、优缺点，并提供了选择激活函数的指导原则。" 在神经网络的设计中，激活函数扮演着至关重要的角色。它们引入了非线性，使得神经网络能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值