深度学习之----循环神经网络(RNN) 基础

目录

1.RNN的背景

设计RNNs的目的，就是处理序列数据。

2.RNN的价值

3. RNN的基本结构

4. RNN的高级形式

4.1 双向RNN (Bidirectional RNN )

4.2 LSTM(Long Short-term Memory)

4.3 GRU(Gated Recurrent Unit)

5. RNN的训练

5.1 普通的RNN(simple RNN)不好训练

5.2 LSTM，让RNN的训练更简单

---

1.RNN的背景

设计RNNs的目的，就是处理序列数据。

在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNNs之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。

RNN was born in 1980s!

词序其实是很重要的

中文中，这样的例子也很多。“怎么样投资白银”vs“白银投资怎么样”；“北京到上海的机票”vs“上海到北京的机票”。

2.RNN的价值

我们知道，一个三层的前馈神经网络可以学到任何的函数，而RNN则是“turing-complete”的，它可以逼近任何算法。

RNN can approximate any algorithm

a recurrent neural network RNN is Turing complete and so can compute anything that can be computed.

RNN具有强大的计算和建模能力，因而只要合理建模，它就可以模拟任何计算过程。

RNN具有记忆能力。给RNN同样的输入，得到的输出可能是不一样的。

3. RNN的基本结构

RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hidden units)，我们将其输出集标记为{h0,h1,...,ht,ht+1,...}，这些隐藏单元完成了最为主要的工作。

各个变量的含义：