RNN 中为什么要采用 tanh，而不是 ReLU 作为激活函数？

最新推荐文章于 2023-04-17 15:02:05 发布
最新推荐文章于 2023-04-17 15:02:05 发布
阅读量2.7k 收藏 2
点赞数 3
分类专栏： 深度学习相关文献和理论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35290785/article/details/99493892
版权
在循环神经网络(RNN)中，使用tanh而非ReLU作为激活函数的原因在于，ReLU可能导致非常大的输出值，而tanh可以提供更均衡的输出范围。此外，单纯的ReLU并不能有效解决RNN中的长程梯度消失问题。
摘要由CSDN通过智能技术生成

https://www.zhihu.com/question/61265076

 

 

  1. 也就是说在RNN中直接把激活函数换成ReLU会导致非常大的输出值
  2. 另外一方面，将激活函数换成ReLU也不能解决梯度在长程上传递的问题
贾世林jiashilin
关注
专栏目录
订阅专栏
算法面试之RNN激活函数、权重共享
持续战斗状态的博客
03-19 2624
概述 模拟人的阅读顺序 N-Gram模型：认为一个词只和前面N-1个词有关 循环神经网络RNN理论上可以往前(后)看任意多个词 梯度消失或者梯度爆炸会导致梯度为0或NaN，进而无法继续训练更新参数。上述现象称之为RNN长程依赖问题。 通常来说，梯度爆炸更容易处理一些。因为梯度爆炸的时候，程序会收到NaN错误。也可以设置一个梯度阈值，当梯度超过这个阈值时直接截取。 梯度消失更难检测，更难处理。通常有三种缓解梯度消失的方法∶ 1.初始化合理的权重值：初始化权重，使每个神经元尽可能躲开梯度消失的区域，如避免取极
RNN中为什么要采用tanh而不是ReLu作为激活函数？
behboyhiex的博客
06-26 1万+
转自知乎RNN中为什么要采用tanh而不是ReLu作为激活函数？原问题：RNN中一个经典的问题是如果避免梯度消失？造成这个问题的一个很重要原因是采用了tanh作为激活函数，很容易造成梯度消失问题。其中一种解决方案是采Gate的LSTM，使梯度的乘法变成了加法。那么为什么一开始不采用ReLu作为激活函数，这样的话梯度始终为1，不是很好解决了这个问题吗？也用不着采用Leaky Unites等解决方法。...
为什么CNN的激活函数使用relu,RNN的激活函数使用tanh？
qq_45689637的博客
04-17 669
为什么CNN的激活函数使用relu,RNN的激活函数使用tanh？
[Lecture 10 ]Recurrent Neural Network（循环神经网络）
qq_41341454的博客
04-20 568
文章目录课堂提问1. 引入2. 语言建模3. 图像描述(Image Caption)3.1 基础模型结构3.2 带有注意力的模型4. 视觉问答（Visual Question Answering）5. 多层RNN6. 改善的RNN结构6.1 引入——梯度传播（Gradient Flow）6.2 LSTM（长短时记忆网络）6.3 GRU（门控循环单元，Gait Recurrent Unit）总结（s...
RNN激活函数、Encoder-Decoder、Seq2Seq、Attention
牧野的博客
11-23 1万+
  RNN中为什么使用使用tanh激活，不用sigmoid、Relu   Sigmoid函数的导数范围是(0,0.25], Tanh函数的导数是(0,1]。 由于RNN中会执行很多累乘，小于1的小数累乘会导致梯度越来越接近于0,出现梯度消失现象。 Tanh与Sigmoid相比，梯度更大，收敛速度更快并且出现梯度消失的情况要优于Sigmoid。 另一点是Sigmoid的输出均大于0，不是...
Deep learning系列（七）激活函数
du_mengnan的专栏
10-15 2万+
介绍了三种神经网络激活函数。
常用的激活函数（Sigmoid、Tanh、ReLU等）
Billie使劲学的博客
06-29 2万+
目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.Leaky ReLU5.ELU6.softmax7.Swish 激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这
LSTM为什么用sigmoid，tanh不用relu？
DecafTea的博客
01-25 4549
https://cloud.tencent.com/developer/article/1498959 1. why is an activation function not being zero-centred an disadvantage? Say there are two parameters w1 and w2. If the gradients of two dimensions are always of the same sign, it means we can only move r
一种初始化使用ReLU激活函数的RNN权重的简单方式
weixin_42194139的博客
04-02 1133
A Simple Way to Initialize Recurrent Networks of Rectified Linear Units
深度学习—激活函数详解（Sigmoid、tanh、ReLU、ReLU6及变体P-R-Leaky、ELU、SELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish）
星月夜话
02-05 5315
非线性激活函数详解 饱和激活函数Sigmoid函数tanh函数hard-Sigmoid函数 非饱和激活函数Relu（修正线性单元）：Relu6（抑制其最大值）：ELU（指数线性单元）SELULeaky-Relu / R-ReluP-Relu（参数化修正线性单元）R-Relu（随机纠正线性单元）Swishhard-SwishMishMaxout关于激活函数统一说明 参考链接 因为深度学习模型中其它的层都是线性的函数...
初学者——从NN到RNN，深刻理解以softmax为激活函数的反向传播，有代码
liuyongjie985的专栏
12-12 1万+
看这篇文章首先你要懂NN，也就是神经网络，我也是只懂神经网络，RNN是我学的第二个神经网络。如果你以前啥都不懂的话，推荐去这个网站 http://neuralnetworksanddeeplearning.com/ 真的贼J8好，笔者是这样看的，看完第一章，Using neural nets to recognize handwritten digits，我大概明白了什么叫神经网络，然
神经网络中的激活函数sigmoid、 tanh 、RELU
crb的博客
08-16 2万+
首先解释为什么要做： 再解释怎么做： 从数学上来看，Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。   在具体应用中，tanh函数相比于Sigmoid函数往往更具有优越性，这主要是因为Sigmoid函数在输入处于[-1,1]之间时，函数值变化敏感，一旦接近或者超出区间就失去敏感性，处于饱和状态，   (3) R...
人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
Code_lr的专栏
07-06 1万+
转自：https://www.zhihu.com/question/29021768 附：双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦"sinh"，双曲余弦"cosh"，从它们导出双曲正切"tanh" sigmod函数： Relu函数： 综合： @作者：约翰曰不约  为什么通常Relu比sigmoid和ta
常用激活函数比较
aliceyangxi1987的博客
05-01 7285
本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用
神经网络为什么要有激活函数，为什么relu 能够防止梯度消失
热门推荐
u014114990的专栏
12-02 3万+
第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机（MLP）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最
神经网络中的激活函数-tanh
leadai的博客
06-23 3万+
七月 上海  | 高性能计算之GPU CUDA培训7月27-29日三天密集式学习  快速带你入门阅读全文>正文共817个字，3张图，预计阅读时间8分钟。为什么要引入...
LSTM该不该使用RELU？
不积跬步，无以致千里；不积小流，无以成江海
12-20 1万+
首先看下现在常用的激活函数最常见的就是σ\sigma函数 σ(x)=11+e−x\sigma(x)=\frac{1}{1+{e^-}^x} 其用在早期的神经网络中，但是多层神经网络存在梯度消失的问题。 tanh函数如下： tanh(x)=ex−e−xex+e−x\tanh(x)=\frac{ e^x-{e^-}^x}{ e^x+{e^-}^x} tanh函数也和σ\sigma函数类似，存在
【深度学习】CNN 用 ReLU，RNN 用 tanh ?
LogM的博客
07-07 1395
CNN、RNN 应该用什么激活函数？
为什么GRU要用tanh
最新发布
07-09
GRU（门控循环单元）是一种循环神经网络（RNN）的变种，用于处理序列数据。在GRU中，使用tanh函数作为激活函数的一个重要原因是它具备以下特点和优势： 1. 非线性映射能力：tanh函数是一种非线性的激活函数，它能够将输入的范围映射到[-1, 1]之间。这种非线性映射能力使得GRU可以更好地处理复杂的序列模式和非线性关系。 2. 增强梯度流动：tanh函数在输入接近于0时具有较大的梯度，这有助于减轻梯度消失问题。在RNN中，长期依赖问题是一个常见的挑战，而tanh函数可以帮助信息在序列中更好地传播和流动，从而提高模型对长期依赖的建模能力。 3. 对称性：tanh函数具有对称的特点，即在输入为正和输入为负时具有相同的斜率。这种对称性有助于模型在正向和反向梯度传播时保持一致，从而更好地进行参数更新和优化。 需要注意的是，tanh函数并不是GRU中唯一可选的激活函数。在某些情况下，也可以尝试其他激活函数，如ReLU（修正线性单元）等，以适应不同的数据和任务需求。在实践中，可以通过实验和调整来选择最适合的激活函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾世林jiashilin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值