RNN框架

目录

1 概述

2 传统RNN模型

3 LSTM模型

4 Bi-LSTM模型

5 GRU模型

6 注意力机制

---

1 概述

RNN的输入有两部分，分别是 h(t-1) 以及 x(t) 代表上一时间步的隐层输出,以及此时间步的输入，它们进入RNN结构体后，会"融合"到一起，这种融合我们根据结构解释可知，将二者进行拼接，形成新的张量[x(t)， h(t-1)]之后，这个新的张量将通过一个全连接层(线性层)，该层使用tanh作为激活函数，最终得到该时间步的输出h(t)。它将作为下一个时间步的输入和 x(t+1) 一起进入结构体，以此类推。

• 什么是RNN模型
  • RNN(Recurrent Neural Network)-----循环神经网络，一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出。
• RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响。
• RNN模型的作用
  • 因为RNN结构能够很好利用序列之间的关系，因此针对自然界具有连续性的输入序列，如人类的语言、语音等进行很好的处理，广泛应用于NLP领域的各项任务，如文本分类、情感分析、意图识别、机器翻译等。