几种激活函数的比较

最新推荐文章于 2024-06-18 15:30:22 发布
最新推荐文章于 2024-06-18 15:30:22 发布
阅读量1.2k 收藏 4
点赞数
分类专栏： 深度学习 深度学习基础理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012370185/article/details/94558437
版权
本文探讨了神经网络中选择激活函数的两个重要因素：饱和问题和输出对称性。分析了sigmoid、tanh、ReLU、leaky ReLU和elu的优缺点，解释了ReLU为何优于sigmoid。ReLU能缓解梯度消失问题并实现神经网络的稀疏性，而elu旨在解决ReLU的负区间问题，但计算成本较高。
摘要由CSDN通过智能技术生成

0. 激活函数选用的两个考虑因素：

（1） 饱和问题

如果激活函数的输入值落在饱和区间，梯度值就趋近于0，会发生梯度消失问题

（2）输出值是否关于0对称

输出值如果关于0对称会加快网络收敛，因为可以避免优化的时候走“之字形”路线

以sigmoid为例，详解为什么会走“之字形”路线

sigmoid激活函数公式：   \sigma(x) = \frac{1}{1+e^{-x}}

导数：\sigma`(x) = \sigma(x)(1-\sigma(x))

神经网络前向计算公式：

v=\sum (w_ix_i+b)

f=\sigma(v)

f->L    （L表示损失函数）

反向传播的梯度计算公式：

最低0.47元/天 解锁文章
你吃过卤汁牛肉吗
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【激活函数总结】深度学习最常用的十大激活函数
allein_STR的博客
01-30 542
前言 激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。 在人工神经网络中，一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。因此，激活函数是确定神经网络输出的数学方程式，本文概述了深度学习中常见的十种激活函数及其优缺点。 首先我们来了解一下人工神经元的工作原理
常用激活函数比较
热门推荐
u011584941的专栏
05-10 1万+
常用激活函数比较 本文结构： 什么是激活函数为什么要用都有什么sigmoid ，ReLU， softmax 的比较如何选择 1. 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。 2. 为什么要用 如果不用激励函数，每一层输出都是上层
激活函数（Activation Function）
最新发布
2401_85378759的博客
06-18 1022
激活函数是一种用于神经网络和机器学习模型中的非线性函数。它被应用于神经元的输出，以引入非线性性质和复杂性。激活函数可以帮助模型学习非线性关系，并提高模型的表达能力。在神经网络的每一层都使用激活函数，将输入信号转换为输出信号。
激活函数的选择
metrao的博客
06-18 1385
参考链接 常见的激活函数： 1、二元阶跃函数 x>=0f(x)=1,elsef(x)=0x>=0 f(x)=1, else f(x)=0x>=0f(x)=1,elsef(x)=0 缺点：类别多不能用，求导为0不能反向更新参数 2、线性函数f(x)=axf(x)=axf(x)=ax 缺点：倒数为常数，与输入值无关 3、Sigmoid： 1(1+e−x)\frac{1}{(1+e^{-x})}(1+e−x)1​ 将至转为（0，1）之间，其求导图如下 由图可知，梯度在-3到3之间时有意义的，当
神经网络的各种激活函数的优缺点对比分析
zhan867791458的博客
03-25 1905
主要对比分析了神经网络各种激活函数的优缺点。
激活函数对比分析
tiankong_的博客
03-11 1250
1.激活函数的作用 提供网络的非线性建模能力 2.激活函数中的常见概念 饱和 当一个激活函数h(x)满足 limn→+∞h′(x)=0limn→+∞h′(x)=0 时，我们称之为右饱和。 当一个激活函数h(x)满足 limn→−∞h′(x)=0limn→−∞h′(x)=0 时，我们称之为左饱和。 当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。 硬饱和与软饱和 对任意的...
深度学习不同激活函数之间的比较
06-21
### 深度学习中的激活函数比较 #### 1. 激活函数的基本概念 在探讨不同激活函数之前，我们首先需要明确激活函数的基本定义及其在深度学习中的作用。 **1.1 什么是激活函数？** 激活函数是指在神经网络中用于决定...
激活函数_ancientzyb_神经网络激活函数代码_
10-03
首先，我们来详细了解几种常见的激活函数： 1. **Sigmoid**：Sigmoid函数是一種连续、光滑且具有S形曲线的函数，它的输出值域在0到1之间。Sigmoid在早期的二分类问题中广泛使用，但由于其梯度消失问题，现在更多地...
Pytorch中的激活函数
01-20
下面我们将详细讨论几种常见的激活函数及其在PyTorch中的实现。 首先，Sigmoid函数是最经典的激活函数之一，它通过公式g(z) = 1 / (1 + e^(-z))将输入z映射到(0, 1)的范围内。Sigmoid函数的导数g'(z) = a (1 - a)，...
神经网络中各种激活函数的Python实现
11-22
这里我们将深入探讨几个常见的激活函数，包括ReLU、sigmoid、swish以及mish，并了解它们在实际应用中的优缺点。 首先，ReLU（Rectified Linear Unit）是最常用的激活函数之一，它的公式为f(x) = max(0, x)。ReLU在x...
深度学习 激活函数概念
09-27
本文将深入探讨几种常用的激活函数，包括Sigmoid、tanh、ReLU、Leaky ReLU (LReLU)、Parametric ReLU (PReLU)、Exponential Linear Unit (ELU)以及Softplus和Softsign，并分析各自的优缺点。 #### Sigmoid函数 **...
神经网络中的激活函数及其各自的优缺点、以及如何选择激活函数
JacksonKim的博客
05-12 1万+
文章转载自：https://zhuanlan.zhihu.com/p/71882757 1.什么是激活函数？ 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 激活函数对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图，在神经元中，输入（inputs ）通过加权，求和后，还被作用在一个函数上，这个函数就是激活函数。 2.为什么要用激活函数？ 如果不
优秀啊，这么好的激活函数汇总，必须收藏一下。
ll1042668699的博客
07-06 243
【转载】https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/
激活函数
weixin_38368941的博客
04-09 883
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。可微性： 当优化方法是基于梯度的时候，这个性质是必须的。 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。 输出值的范围： 当激活函数输出值是 有限...
【激活函数合集】盘点当前最流行的激活函数及选择经验
I good vegetable a!
02-24 2097
前言 在阅读DarkNet源码的时候发现作者定义了大量从古至今流行的损失函数，本着科普的态度我打算做一个全面的总结，所以就有了这篇文章。 激活函数有什么用？ 提到激活函数，最想问的一个问题肯定是它是干什么用的？激活函数的主要作用是提供网络的非线性表达建模能力，想象一下如果没有激活函数，那么神经网络只能表达线性映射，此刻即便是有再多的隐藏层，其整个网络和单层的神经网络都是等价的。因此正式由于激活函数...
深度学习---之几种激活函数的区别
zxyhhjs2017的博客
01-23 2635
2.3 几种常见的激活函数   Sigmoid. Sigmoid 非线性激活函数的形式是σ(x)=1/(1+e−x)，其图形如上图左所示。之前我们说过，sigmoid函数输入一个实值的数，然后将其压缩到0~1的范围内。特别地，大的负数被映射成0，大的正数被映射成1。sigmoid function在历史上流行过一段时间因为它能够很好的表达“激活”的意思，未激活就是0，完全饱和的激活
机器学习-激活函数
weixin_37801695的博客
07-25 1714
激活函数是作用于神经网络神经元输出的函数。 linear为线性激活函数，表达式为 ，用于回归神经网络输出（或二分类问题） tanh为非线性激活函数 ，用于隐层神经元输出 sigmoid为非线性激活函数 ，用于隐层神经元输出 ReLU为分段激活函数 ，用于隐层神经元输出 Softmax为非线性激活函数，用于多分类神经网络输出...
激活函数 -- 机器学习
这世界缤纷多彩
05-26 483
激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。可以参考博文：https://www.cnblogs.com/silence-tommy/p/7113405.html 一般激活函数有如下一些性质： 非线性： 当激活函数是线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即f(x)=x，就不满足这个性质，而且如果MLP使用的是恒等激活...
YoloV5使用了几种激活函数
05-12
YoloV5使用了以下几种激活函数： 1. Mish激活函数：Mish是一种新型的激活函数，其形式为 f(x) = x * tanh(ln(1+e^x))，可以替代ReLU，并在很多任务上取得更好的效果。 2. SiLU激活函数：SiLU是一种类似于Sigmoid的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值