Deep learning系列（七）激活函数

最新推荐文章于 2024-08-30 17:27:44 发布
最新推荐文章于 2024-08-30 17:27:44 发布
阅读量2.9w 收藏 29
点赞数 11
分类专栏： deep-learning 文章标签： 深度学习 relu激活函数 tanh激活函数 sigmoid函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012526120/article/details/49149317
版权
这篇博客介绍了深度学习中常见的三种激活函数：sigmoid、tanh和ReLU。sigmoid函数虽然将输入映射到[0,1]，但存在梯度饱和和非中心化问题，导致训练效率低。tanh函数映射到[-1,1]，同样面临梯度饱和。而ReLU激活函数因其梯度不饱和和计算速度快，极大地提高了模型的收敛速度。" 24929943,1370050,C++ dynamic_cast 强制转换的优势解析,"['C++编程', '类型转换', '多态', '程序错误检查']
摘要由CSDN通过智能技术生成

1. sigmoid激活函数

sigmoid将一个实数输入映射到[0,1]范围内，如下图（左）所示。使用sigmoid作为激活函数存在以下几个问题：

  • 梯度饱和。当函数激活值接近于0或者1时，函数的梯度接近于0。在反向传播计算梯度过程中： δ(l)=(W(l)
最低0.47元/天 解锁文章
du_mengnan
关注
专栏目录
递归神经网络LSTM详解：为什么用sigmoid，tanh不用relu？
weixin_42155006的博客
08-25 5067
1. 递归神经网络 递归神经网络的结果与传统神经网络有一些不同，它带有一个指向自身的环，用来表示它可以传递当前时刻处理的信息给下一时刻使用。 可以认为它是对相同神经网络的多重复制，每一时刻的神经网络会传递信息给下一时刻。 递归神经网络因为具有一定的记忆功能，可以被用来解决很多问题，例如：语音识别、语言模型、机器翻译等。但是它并不能很好地处理长时依赖问题。 2.LSTM 长时依赖是这样的一个问题，当预测点与依赖的相关信息距离比较远的时候，就难以学到该相关信息。Long Short Term Mermory
sigmoid函数和tanh函数和relu函数和leaky_relu函数
icodeblocks的专栏
11-17 354
sigmoid函数，tanh函数，relu函数，leaky_relu函数原理与实现 import numpy as np import pandas as pd import matplotlib.pyplot as plt def sigmoid(x): return np.exp(x)/sum(np.exp(x)) def tanh(x): return (np.exp(x) - np.exp(-x))/(np.exp(x) + np.exp(-x)) def relu(x):
什么是激活函数？零基础扫盲～
最新发布
buggggg_的博客
08-30 843
激活函数是神经网络中的一个重要组件，它决定了每个神经元的输出。当一个神经元接收到输入信号后，会进行加权求和，然后通过激活函数进行处理，最终得到这个神经元的输出。（类似圈出来的隐层部分，由输入层进行加权求和之后并不是马上进行下一轮运算，而是再经过一个激活函数决定给下一轮的值）激活函数的作用主要有以下几点：1、激活函数就像是在给神经网络“增加脑筋”，让它不仅能处理简单的事情，还能理解复杂的问题。2、归一化：有些激活函数会把输出值限制在一定范围内，比如把所有结果都压缩在0到1之间。
激活函数（sigmoid、tanh、ReLU、leaky ReLU）
m0_45267220的博客
01-16 3190
激活函数（sigmoid、tanh、ReLU、leaky ReLU）
LSTM模型中既存在sigmoid又存在tanh两种激活函数的原因
Aaron_Yang
05-30 5975
关于激活函数的选取，在LSTM中，遗忘门、输入门和输出门使用 Sigmoid函数作为激活函数;在生成候选记忆时，使用双曲正切函数tanh作为激活函数。值得注意的是，这两个激活函数都是饱和的也就是说在输入达到一定值的情况下，输出就不会发生明显变化了。如果是用非饱和的激活图数，例如ReLU，那么将难以实现门控的效果。 Sigmoid的输出在0-1之同，符合门控的物理定义，且当输入较大或较小时，其输出会非常接近1或0，从而保证该门开或关，在生成候选记亿时，使用tanh函数，是因为其输出在-1-1之间，这与大多数场
激活函数(sigmoid、tanh、ReLU、softmax)
热门推荐
tcn760的博客
04-07 8万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
Understanding Deep Learning
08-12
1. **神经网络基础**：介绍神经网络的基本构成，如输入层、隐藏层、输出层，以及神经元的激活函数，如sigmoid、ReLU等。 2. **深度学习模型**：讲解多层感知机、卷积神经网络（CNN）、循环神经网络（RNN）、长短时...
关于Deeplearning中的激活函数梯度消失问题以及如何选择激活函数
weixin_41370083的博客
08-03 1681
什么是激活函数？ 如上：输入input,经过加权求和，再经过activation函数激活，再输出作为下一层的输入。 为什么要用激活函数 我们知道，经过加权求和时，输入呈现线性函数关系，此时如果没有激活函数，输出都呈现线性组合，不管神经网络有多少层，结果说到底为线性方程式，无法来映射现实中复杂的因素。之所以运用神经网络，是想让其能像人脑对外界复杂因素进行解析，而这些复杂因素往往...
《Deep Learning》 Ian Goodfellow Yoshua Bengio Aaron Courville.zip
08-19
2. **神经网络基础**：书中详细介绍了神经网络的结构和工作原理，包括前馈神经网络（Feedforward Neural Networks）、激活函数（如Sigmoid、ReLU）、损失函数（如均方误差、交叉熵）以及反向传播算法，这些都是构建...
深度学习, 资源, Deep Learning: Foundations and Concepts
12-22
此外，还会讲解权重初始化、激活函数（如sigmoid、ReLU）的作用以及梯度消失和梯度爆炸问题。 2. **深度学习模型**：详细讨论卷积神经网络（CNN）、循环神经网络（RNN）和长短期记忆网络（LSTM），这些模型在图像...
深度学习之激活函数的介绍和比较：sigmoid，tanh，relu，softmax
Yio_Eagle的博客
09-07 2137
本文参考自3个博客，整理合并而成。 1.https://blog.csdn.net/haxiongha/article/details/79404304 2.https://blog.csdn.net/u011684265/article/details/78039280 3.https://www.cnblogs.com/gezhuangzhuang/p/10583394.html 目录...
常见激活函数（Sigmoid、Tanh、Relu、Leaky Relu、Softmax）
weixin_44115575的博客
06-20 4314
不同的激活函数有不同的输出范围，比如Sigmoid函数的输出在(0, 1)之间，Tanh函数的输出在(-1, 1)之间，ReLU函数的输出在[0, ∞)之间。在神经网络的基本结构中，每个神经元接收输入信号，对其进行加权求和后加上偏置项，然后将这个结果通过激活函数进行转换，得到神经元的输出。由于大多数实际问题都是非线性的，非线性激活函数使得神经网络能够拟合复杂的函数映射关系，从而解决非线性问题。：某些激活函数（如ReLU）具有计算效率高的优点，因为它们的计算只涉及到基本的算术操作，而不需要昂贵的指数运算。
Sigmoid和tanh的异同
yaoyaoyao2的博客
06-28 5万+
Sigmoid和tanh的异同   1.sigmoid函数 公式： 定义域：R 值域：(0,1) 导数： 导函数定义域：R 导函数值域：(0,0.25]   图像：         2.tanh函数 公式： 定义域：R 值域：(-1,1) 导数： 导函数定义域：R 导函数值域：(0,1] 图像：
神经网络中激活函数sigmoid和tanh的区别
D3d的博客
05-18 8652
激活函数sigmoid和tanh的区别 表面上看起来，两者的区别只是值域不同，sigmoid是(0,1)，tanh是(-1,1)。可就是这个小小的不同，造成了他们的效果其实有很大差别。 simoid函数 作为激活函数，sigmoid函数存在梯度弥散的问题，即当x的取值特别大或者特别小的时候，其梯度几乎为零，这会导致参数的值无法更新。即所说的梯度消失。 作为激活函数，sigmoid的不是中心对称的...
【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）
Next_SummerAgain的博客
01-05 1359
激活函数（activation function）的作用是对网络提取到的特征信息进行非线性映射，提供网络非线性建模的能力。常见的激活函数有 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 等。
激活函数sigmoid和tanh
qq_38883271的博客
03-05 1066
1.sigmoid函数也称为S型函数，该函数将变量全部映射到(0,1)区间。函数表达式如下所示： import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1+np.exp(-x)) x = np.arange(-10,10,0.01) y = sigmoid(x) plt.plot(...
深度学习基础系列（三）| sigmoid、tanh和relu激活函数的直观解释
weixin_33975951的博客
09-30 427
　　常见的激活函数有sigmoid、tanh和relu三种非线性函数，其数学表达式分别为： sigmoid: y = 1/(1 + e-x) tanh: y = (ex - e-x)/(ex+ e-x) relu: y = max(0, x) 　　其代码实现如下： import numpy as np import matplotlib.pyplot as plt ...
Sigmoid 函数和 Tanh 函数的区别
数据挖掘爱好者
04-02 6264
Sigmoid 函数和 Tanh 函数的区别。 图形用Mac 下Grapher软件来画出：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值