浅谈深度学习中的激活函数

最新推荐文章于 2024-08-02 19:57:38 发布
最新推荐文章于 2024-08-02 19:57:38 发布
阅读量789 收藏 5
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35770067/article/details/107818253
版权
激活函数在神经网络中引入非线性因素，使网络能处理复杂问题。Sigmoid和tanh因饱和导致梯度消失，现在较少使用；ReLU流行但可能产生神经元死亡；LReLU、PReLU和RReLU通过调整参数缓解这一问题；ELU则通过其特殊形式加速学习。不同的激活函数在实际应用中需结合优缺点选择。
摘要由CSDN通过智能技术生成
激活函数的作用

首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。

比如在下面的这个问题中：
在这里插入图片描述

如上图，在最简单的情况下，数据是线性可分的，只需要一条直线就已经能够对样本进行很好地分类。
在这里插入图片描述
但如果情况变得复杂了一点呢？在上图中，数据就变成了线性不可分的情况。在这种情况下，简单的一条直线就已经不能够对样本进行很好地分类了。
在这里插入图片描述
于是我们尝试引入非线性的因素，对样本进行分类。

在神经网络中也类似，我们需要引入一些非线性的因素，来更好地

了解本专栏 订阅专栏 解锁全文 超级会员免费看
安替-AnTi
关注
专栏目录
订阅专栏
深度学习常用激活函数
AI_BigData_WH的博客
09-10 5036
在感知器模型、神经网络模型、深度学习模型中均会看见激活函数的声影。激活函数又被称为转移函数、激励函数、传输函数或限幅函数，其作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。 常用的激活函数有：线性函数、斜坡函数、阶跃函数、符号函数、Sigmoid函数、双曲正切函数、Softplus函数、Softsign函数、Relu函数及其变形、Maxout函数等。
干货 | 深入理解深度学习中的激活函数
计算机视觉life
02-28 1319
理解深度学习中的激活函数 在这个文章中，我们将会了解几种不同的激活函数，同时也会了解到哪个激活函数优于其他的激活函数，以及各个激活函数的优缺点。 1. 什么是激活函数？ 生物神经网络是人工神经网络的起源。然而，人工神经网络（ANNs）的工作机制与大脑的工作机制并不是十分的相似。不过在我们了解为什么把激活函数应用在人工神经网络中之前，了解一下激活函数与生物神经网络的关联依然是十分有用的。 一个典型神...
激活函数总结（七）：激活函数补充(Softsign、Threshold、Sinc)
最新发布
生活需要深度
08-02 541
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。现在仍处于几乎没有人使用的情况。
深度学习中激活函数的作用
热门推荐
hai008007的博客
03-29 1万+
0、从深度学习开始说起今天检索多标签分本分类的文献时，遇到一个关于激活函数的疑惑：如果有大牛看到，知道如何更好的理解这句话的含义，希望在评论里解惑！由惑而生，所以我打算总结一下深度学习模型中常用的激活函数的一些特性，方便大家日后为模型选择合适的激活函数。　　说到激活函数，就不能不提神经网络或者深度学习，从一个新手入门深度学习领域，我觉得首先需要理解三个基本的构成要素：我把理解激活函数作为深度学习入...
【深度学习的数学】激活函数的作用是什么？
Dontla的博客
05-23 698
引用文章：神经网络激活函数的作用是什么？
深度学习中激活函数的用途
githubcurry
11-16 5133
激活函数，即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函数，也是可以的。它的目的是为了使数据更好的展现出我们想要的效果。激活函数决定了某个神经元是否被激活，当这个神经元接受到的信息是有用或者无用的时候，激活函数决定了对这个神经元接收到的信息是留下还是抛弃。
浅谈深度学习在医学影像领域中的应用.pdf
08-18
卷积神经网络（CNN）是深度学习中在图像处理领域应用最为广泛的一种模型。由于其前馈神经网络的特性，CNN可以接受原始图像作为输入，无需人工进行图像预处理。CNN由多个层次组成，包括输入层、卷积层、激活函数、...
浅谈神经网络中常用的激活函数
徐丢丢的博客
09-09 2663
激活函数对于神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。首先，数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。
深度学习（三）——激活函数（active function）的作用和类别详解
qq_37100442的博客
08-14 6809
     基础知识掌握情况决定研究的高度，我们刚开始接触深度学习时，一般都是看到别人的概括，这个方法很好能让我们快速上手，但是也有一个很大的缺点， 知识理解的不透彻，导致我们对算法优化时一头雾水。我也是抱着知识总结的思想开始自己的深度学习知识精髓的探索，也希望能从中帮助到更多人。文章中间存在表述不清的地方希望各位研友（研究深度学习的朋友）提出，我会努力完善自己的文章。   一、作用：     ...
深度学习 激活函数概念
09-27
深度学习激活函数总结， 深度学习激活函数总结 深度学习激活函数总结 深度学习激活函数总结 深度学习激活函数总结
深度学习之激活函数
qq_38777880的博客
11-25 1502
文章目录前言1. 阶梯函数2. sigmoid函数3. tanh函数4. ReLU函数5. maxout函数6. ReLU函数的衍生函数 前言 激活函数是人工神经网络的重要组成部分，负责对输入信号进行非线性变换，可以拟合各种曲线，并输出最终结果。激活函数中的“激活”一词是指对网络中的某个神经元是否被接受到的所有输入信号之和激活，即这个神经元接收到的信号是起作用还是被忽视。激活函数将神经元的所有输入，包括输入值、连接权重，经过代数运算，得到一个综合的激活值，激活函数根据这个激活值离阈值的远近决定这个神经元输
深度学习中常见的激活函数以及用途
帅小帅的博客
10-18 1797
参考来源： https://zhuanlan.zhihu.com/p/124169846 https://www.zhihu.com/question/63454402/answer/358536826 一：深度学习中常见的激活函数以及用途 1.背景，为什么需要激活函数？ 答：当输入激励达到一定强度，神经元就会被激活，产生输出信号。模拟这一细胞激活过程的函数，就叫激活函数。 1）神经网络中如果不加非线性变换，那都是线性函数，网络学习不到复杂的维度，应该添加非线性变换，使网络能够学习到更高维度的事物，学习
深度学习之激活函数详解
zenRRan的博客
03-06 1430
激活函数是什么 激活函数，即Activation Function,有时候也称作激励函数。它是为了解决线性不可分的问题引出的。但是也不是说线性可分就不能用激活函数，也是可以的。它的目的是为了使数据更好的展现出我们想要的效果。 激活函数在哪里用？ 比如一个神经网络 为了更清晰的表示，我用红色标出。比如像上面的网络z = W*x，这个线性运算就是上面节点白色的部分，另一部分当然就是F(z)...
深度学习中的激活函数介绍
记忆碎片的博客
03-06 593
文章目录relu函数Maxout函数 relu函数 Maxout函数 假如一个简单的神经网络输入层有x1和x2两个神经元，下一层有4个神经元，x1和x2分别与4个神经元做运算，得到4个输出值，如果我们使用relu函数，那么这4个输出值应当都要经过relu函数计算得到4个激活值。而使用Maxout则是将这个4个值分成两组(即一个组里2个神经元)，分别取每组的最大值，最后只输出两个最大值。 Maxou...
深度学习中常用的激活函数理解
weixin_44441131的博客
04-10 347
ReLU还有一个优点是：Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。 Dead ReLU Problem 原因 有两个主要原因可能导致这种情况产生: (1)先这样想：参数得不到更新是由于梯度为0；对于ReLU函数，导数为0表示ReLU的输入为负数，所以要分析是什么会导致我们的输入为负数（如下） (2) 非常不幸的参数...
深度学习中的激活函数
qq_33221533的博客
07-09 495
SigmoidSigmoid 非线性函数将输入映射到 $$ \left( 0,1\right) $$ 之间。它的数学公式为：$$\sigma \left( x\right) =\dfrac {1} {1+e^{-x}}$$。历史上， sigmoid 函数曾非常常用，然而现在它已经不太受欢迎，实际很少使用了，因为它主要有两个缺点：1. 函数饱和使梯度消失sigmoid 神经元在值为 0 或 1 的时...
关于深度学习中激活函数的思考总结（转载+原创）
pandav5的专栏
03-24 2211
先记录，回头详细写一份 http://www.cnblogs.com/neopenx/p/4453161.html http://blog.csdn.net/liulina603/article/details/44915905/ 1.ReLU非线性特征  一句话概括：不用simgoid和tanh作为激活函数，而用ReLU
深度学习中的激活函数详解与对比
在本文中，我们将深入探讨在深度学习中常见的几种激活函数，并以Caffe框架为例来介绍它们的工程实现。 首先，激活函数的作用是将神经元的线性组合转化为非线性变换，这使得神经网络可以模拟更复杂的现实世界模式。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

安替-AnTi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值