![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
whitenightwu
这个作者很懒,什么都没留下…
展开
-
RNN--综述
RNN 递归神经网络,即循环神经网络,Recurrent Neural Network,RNN。如何学习RNN 通过前期对RNN/LSTM的基本知识学习和语音系统方面的RNN应用学习,完成对LSTM的基本计算框架的分析和基本应用分析。 具体要求如下: 1)LSTM基本原理分析。 2)LSTM构成形式分析,包括LSTM变种结构分析,基本要求包括共性特征分析、异性特征分析、基础单...原创 2018-10-31 10:29:20 · 1734 阅读 · 0 评论 -
深度学习基础--各种Dropout--DropoutWrapper(RNN中的)
DropoutWrapper dropout是一种非常efficient的regularization方法,在rnn中如何使用dropout和cnn不同 对于rnn的部分不进行dropout,也就是说从t-1时候的状态传递到t时刻进行计算时,这个中间不进行memory的dropout;仅在同一个t时刻中,多层cell之间传递信息的时候进行dropout。示意图 图中,xt−2时刻的输入...原创 2018-11-12 11:34:01 · 2231 阅读 · 0 评论 -
深度学习基础--注意力机制(attention)
注意力机制(attention)在机器翻译中的应用 在Deep learning火起来后,最常见的建模方式是用Recurrent Neural Networks (RNN) 将上下文"“编码”",然后再"“解码”"成目标文本。以机器翻译为例。 Google最近的论文中,用一个 RNN encoder读入context, 得到一个context vector(RNN的最后一个hidden ...原创 2018-11-12 11:11:48 · 1551 阅读 · 3 评论 -
RNN--权重的时/空域共享
权重的时/空域共享weight-sharing is a key in DL, RNN shares weights temporally.原创 2018-11-01 10:48:13 · 1693 阅读 · 0 评论 -
RNN--时延神经网络(time delay neural network/TDNN)
时延神经网络(time delay neural network/TDNN) 时延神经网络(time delay neural network/TDNN)是第一种为 ASR 使用多个 CNN 层的模型。这种模型在时间轴和频率轴上都应用了卷积运算。...原创 2018-11-01 10:47:08 · 6009 阅读 · 0 评论 -
RNN--zoneout
zoneout 来自《Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations》。 zoneout是rnn 时间维度上的“dropout”,要么维持前一个时刻的hidden vector,要么按照一般的样子更新。不是指单独的cell,而是指训练时的一种trick。...原创 2018-11-01 10:45:59 · 2197 阅读 · 0 评论 -
RNN--Bidirectional LSTM Network
Bidirectional LSTM Network原创 2018-11-01 10:45:08 · 2875 阅读 · 0 评论 -
RNN--注意力机制(attention)
注意力机制(attention) 在Deep learning火起来后,最常见的建模方式是用Recurrent Neural Networks (RNN) 将上下文"“编码”",然后再"“解码”"成目标文本。提出attention的缘由 常用的例子就是机器翻译。 用一个 RNN encoder读入context, 得到一个context vector(RNN的最后一个hidden s...原创 2018-11-01 10:44:09 · 4978 阅读 · 0 评论 -
RNN--RNN的增强方式
RNN的增强方式 主要有四种,他们各有侧重,并且都依赖于同样的底层技术——注意力机制,从而发挥作用。原创 2018-11-01 10:39:34 · 311 阅读 · 0 评论 -
RNN--GRU,Gated Recurrent Unit
GRU,Gated Recurrent Unit Gated Recurrent Unit (GRU),这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的更新门(故它只有3个门)。同样还混合了细胞状态和隐藏状态,和其他一些改动。最终的模型比标准的 LSTM 模型要简单,也是非常流行的变体。 GRU是一般的RNNs的改良版本,主要是从以下两个方面进行改进:...原创 2018-11-01 10:38:31 · 759 阅读 · 0 评论 -
RNN--长短期记忆(Long Short Term Memory, LSTM)
长短期记忆(Long Short Term Memory, LSTM) 是一种 RNN 特殊的类型,可以学习长期依赖信息。记住长期的信息在实践中是 LSTM 的默认行为,而非需要付出很大代价才能获得的能力! 在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层。LSTM 同样是这样的结构,但是重复的模块拥有一个不同的结构,重复模块包含四个交互的gate。LS...原创 2018-10-31 10:33:43 · 2171 阅读 · 0 评论 -
Improving speech recognition by revising gated recurrent units
Improving speech recognition by revising gated recurrent units 通过修改门控循环单元改善语音识别。一般的 GRU 架构本论文提出的M-reluGRU 移除重置门并且使用 ReLU 激活函数替代 tanh 后,我们可以得到新的公式:我们将这个架构称为 M-reluGRU。...原创 2018-11-28 10:10:47 · 242 阅读 · 0 评论