深度学习（7）-RNN（网络模式，典型应用场景，梯度修剪，GRU,LSTM,双向RNN，深度RNN）

网易云课堂吴恩达深度学习微专业相关感受和总结。因为深度学习较机器学习更深一步，所以记录机器学习中没有学到或者温故知新的内容。从总体架构的角度思路来看待机器学习问题

也做了不少CNN相关的项目内容，结合已知进行思考总结。

本文只是概念性的东西，没有太多细节，如果后续做实际的目标检测，再去学习细节，有个宏观印象，便于管控全局。

---

上一篇：深度学习（6）--神经风格迁移与可视化卷积神经网络（tensorflow实现，可视化卷积神经网络，卷积核输出源码）https://blog.csdn.net/qq_36187544/article/details/92992270

下一篇：深度学习（8）-NLP（词嵌入，嵌入矩阵，词向量，情绪分类，偏见问题）https://blog.csdn.net/qq_36187544/article/details/93503869

---

目录

RNN

RNN网络模式

梯度爆炸与梯度消失

经典RNN结构

GRU

LSTM

双向RNN

深度RNN

---

RNN

RNN基本模型就是循环神经元，思想是考虑时间的序列，简言之就是序列之间相互关联，考虑关联性。

RNN的不同模式，RNN场景很多，比如语音识别（序列输入->序列化输出）、生成音乐（单输入->序列化输出）、判别得分（序列输入->分类输出）、DNA序列识别（序列输入->序列输出）、机器翻译（序列输入->序列输出）、视频识别（序列输入->分类输出）、名字识别（序列输入->序列输出）。所有涉及多对多，一对多，多对一等模式。

RNN网络模式

除去一般RNN细节外，还有可能如下图，比如一对多，音乐生成，所以把y<t-1>作为y<t>的输入，再比如机器翻译，最后一个多对多方式，特点为输入和输出的长度都不一定，所以分为编码部分和解码部分。

---

梯度爆炸与梯度消失

梯度修剪：当网络向量大于某阈值时，进行减小处理，相对鲁棒的解决梯度爆炸问题。

对于梯度消失问题，将会比较复杂，采用GRU 、LSTM cell结构和实现，允许神经网络运行庞大的依赖上，即使某两个词的间隔很大也能够有依赖。

经典RNN结构

GRU

GRU：经典RNN变种，利用门控结构避免梯度消失

LSTM

LSTM（长短时记忆网络）是很经典的RNN网络结构，需要时再详细研究。主要通过更新门，遗忘门等形式进行更新传播。

双向RNN

bidirectional RNN(BRNN,双向RNN），网络如其名。优点：双向网络前后都有联系，一般的单向网络，后文受前文影响，但是前文不一定受后文影响，双向实现文章联系性更强。缺点：需要全部的内容才能工作，比如在输入语音时，只有当全部的输入流进入后才能进行后一步工作，但是单向网络不需要受此限制，可以边输入边翻译等工作。

深度RNN

通常的RNN是一条线性网络，Deep RNN类似于网格型的网络。