深度学习学习笔记（3）

循环神经网络（RNN）

带时间序列的任务场景：

1. 语音识别：输入一段语音，给出对应文字。
2. 生成一段音乐
3. 评论情感分析
4. DNA的序列分析
5. 文字翻译

前后关联性强，前因后果。

标准神经网络的弊端

把每个单词都标注X1、X2.......X9，每个单词都作为一个神经元输入。

标准的神经网络建模的弊端：

1. 输入输出数据在不同例子中有着不同的长度，例如我们换一句话进行翻译，输出和输出的长度就发生了改变。它输入端的神经元数量是预先设定的
2. 一个单纯的神经网络结构，他并不共享从文本的不同位置上学到的特征。比如说如图中，X1是一个人名，但是换一句话之后，X1位置的单词并不一定是人名了。对于第二句话来说，神经网络就要重新开始学习了，或者Harry出现在其他位置时，神经网络就识别不出来了。
3. 参数量巨大。输入网络的特征，往往是one hot或embedding，维度大。
4. 不能体现出时序上的“前因后果”

所以标准的神经网络适不适合处理序列数据的。

而RNN就比较合适

RNN

网络结构

多输入，多输出

在时间T，模型输出值Yt取决于两个参数。1.隐藏层到输出层的连接权重Wy。2.当其状态值Ht。

输入值Xt和上期的状态值Ht- 1，通过相应的连接权重Wh和Wx加权相加，再通过激活函数tanh生成当期的状态值Ht。而Ht在下期计算中又会作为状态输入值与Xt+1一起参与到Ht+1的计算。

特点：

1. 串联结构，体现出“前因后果”，后面结果的生成，要参考前面的信息。
2. 所有特征共享一套参数。

我们可以通过梯度消失和链式法则计算出每次权重调整的大小。

可以看到，RNN也同样面临着梯度消失和梯度爆炸的问题。

例子：

参考：RNN双语_哔哩哔哩_bilibili

RNN案例