什么是循环神经网络——学习笔记

• 序列模型：以一个句子为例

1 循环网络：通过带有自反馈的神经元，能够处理任意长度的（存在时间关联性）序列；

                    将过去的信息整合起来，辅助处理当前信息。

• 循环网络的结构以及参数

• 循环网络的前向传播的计算 

 

• 简化表示

 

• 穿越时间反向传播（第一幅图是前向传播计算损失函数，第二幅图是后向传播调整参数）

 

 

2 类型：固定长度序列到可变长度序列（图像到文字），可变长度序列到固定长度序列（文字到情感），可变长度序列到可变长度序列。

• 循环网络举例（语音识别系统和翻译系统的基本组成，将语音或者文本识别出来）

 

 

3 变种：

    双向循环神经网络（BRNNs）：结合过去和未来的信息进行工作，主要用于手写识别及语音识别领域。由两个RNN组成，一个前向处理序列数据，一个后向处理序列数据。

    编码-解码网络结构：可变长度序列到可变长度序列，例如机器翻译

4 深度循环网络结构：

        RNN一般只是分为三个部分：a. 从输入层到隐藏层；b. 从前一隐藏层到下一隐藏层；c. 从隐藏层到输出层。

        实际上还不是深度网络。

5 门控循环神经网络

        解决长期依赖（LTD）问题：关键信息在传播过程中逐渐被稀释。（梯度爆炸与梯度消失）

        门控循环神经网络种类：长短期记忆网络（LSTM），门控（gated）循环网络

        1 长短期记忆网络（LSTM）：输入为数据的当前时间片段以及前一时间片段隐藏层的输出

输入门：选择重要的

遗忘门：清除不重要的

输出门：锁住重要的

        2 门控（gated）循环网络

门控循环单元（GRUs）：使用更新门及重置门