循环神经网络

循环神经网络

循环神经网络的目的是用来处理序列数据，具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

一、给神经网络增加记忆能力

前馈网络
1.相邻两层之间存在单向连接，层内无连接。
2.有向无环图。
3.输入和输出的维数都是固定的，不能任意改变。
4.（全连接前馈网络）无法处理变长的序列数据。
5.假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。
如何给网络增加记忆能力？
时延神经网络(TDNN)
建立一个额外的延时单元，用来存储网络的历史信息(可以包括输入、输出、隐状态等)。这样，前馈网络就具有了短期记忆的能力。

自回归模型以及有外部输入的非线性自回归模型(NARX)

二、循环神经网络(RNN)

循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据。

循环神经网络比前馈神经网络更加符合生物神经网络的结构。
循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。
循环神经网络按时间展开 如下图。

最早的一个简单的循环神经网络----简单循环网络(SRN)

图灵完备

循环神经网络作用：1.输入-输出映射(机器学习模型) 2.存储器(联想记忆模型Hopfield)

三、循环神经网络应用到机器学习中

1.序列到类别的例子：
情感分析
2.同步的序列到序列模式
中文分词(把分词问题转换成序列标注问题)；
信息抽取(Information Extraction IE)–从无结构化的文本中抽取结构化的信息，形成知识；
语音识别
3.异步的序列到序列模式
机器翻译；
另一个应用：

补充：自回归模型（Autoregressive Model，简称 AR 模型）是最常见的平稳时间序列模型之一。

四，参数学习以及长程依赖问题

五、如何解决长程依赖问题？

由于循环神经网络在时间维度上非常深，所以会发生梯度消失或梯度爆炸问题。
如何改进？
1.梯度爆炸问题–权重衰减、梯度截断
2.梯度消失问题–改进模型

六、两个流行的循环神经网络的实现GRU和LSTM

门控机制：控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息。
基于门控的循环神经网络(Gated RNN)–门控循环单元(GRU)、长短期记忆网络(LSTM)


并不常用：

七、深层循环神经网络

循环神经网络小结：
优点–引入（短期）记忆、图灵完备
缺点–长程依赖问题、记忆容量问题、并行能力

八、循环神经网络的应用

语言模型、生成Linux内核代码、作词机、作诗、统计机器翻译、基于序列到序列的机器翻译、看图说话、VQA、写字、对话系统

九、拓展到图结构

在实际应用中，很多数据是图结构的。比如知识图谱，社交网络，分子网络等。而前馈网络和循环网络很难处理图结构的数据。