深度学习：循环神经网络RNN

目录

一、神经网络的历程

1.传统神经网络存在的问题

2.提出一种新的神经网络

二、RNN基本结构

1.RNN基本结构

2.RNN的独特结构

3.RNN的局限性

---

一、神经网络的历程

1.传统神经网络存在的问题

• 无法训练出具有顺序的数据。模型搭建时没有考虑数据上下之间的关系。
• 因为传统神经网络输入数据的时候是同时输入，同一层的数据之间没有顺序关系，所以对于连续性的数据没有很好的预测效果

 

2.提出一种新的神经网络

• 为了解决传统神经网络的问题，提出了一种新的神经网络——RNN（Recurrent Neural Network）在处理序列输入时具有记忆性，可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

 

二、RNN基本结构

1.RNN基本结构

• 下方蓝色的是输入，
• 中间的矩形是隐藏层，
• 上方紫色的是输出层
• 看成传统神经网络转了个方向比较好理解

 

2.RNN的独特结构

• RNN叫循环神经网络
• 那么它的循环在哪呢，就是它的独特结构
• 最开始的时候会有一个类似于偏置项的h0
• h0乘以一个w矩阵然后与输入的数据x乘以一个u矩阵得到的结果再加上偏置项然后传入激活函数得到h1
• h1乘以一个v矩阵加上偏置项c的结果传入交叉熵激活函数，得到输出的y1
• 依次循环下去，得到最终的yn
• 这个yn就是结合了整个数据的特征
• 注意：
  • 每一次训练中计算用的u，v，w，b都是一样的 ，训练完反向传播会进行更新
  • RNN结构中输入是x1, x2, .....xn，输出为y1, y2, ...yn，也就是说，输入和输出序列必须要是等长的

 

3.RNN的局限性

• 当出现“我的职业是程序员，…,我最擅长的是电脑”。当需要预测最后的词“电脑”。
• 当前的信息建议下一个词可能是一种技能，但是如果我们需要弄清楚是什么技能，需要先前提到的离当前位置很远的“职业是程序员”的上下文。
• 这说明相关信息和当前预测位置之间的间隔就变得相当的大。
• 在理论上，RNN绝对可以处理这样的长期依赖问题。
• 人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN则没法太好的学习到这些知识。
• 这使得模型难以学习长距离依赖关系

• 原因是：梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。​