序列数据建模-RNN & Attention & self-Attention

—>了解更多

全连接神经网络具有层间相互连接，层内相互独立，输入和输出维数固定的特点，在针对不等尺寸图像、不定长度语句、不同词义字符等无约束序列长度，有约束序列依赖的输入数据建模时总会表现出一定的局限性。

1 循环神经网络

循环神经网络（RNN）的主要特点表现为t时刻的隐层（输出层）由第t-1时刻的隐层（输出层）与第t时刻的输入共同决定，其能够有效解决模型非定长输入与时序依赖问题。然而，当循环神经网络的结构过长时，较前输入对模型的影响会随着模型输入的更新不断降低，过长的梯度传播过程也容易引发梯度消失现象。虽然可以采用Relu函数或其它模型代替非线性激活函数，但更一般的做法是对其网络架构做出改进。

为了解决网络的长期依赖问题，提出了长短时记忆神经网络（LSTM）。该模型引入了一组记忆单元，允许网络学习何时遗忘历史信息，何时用新信息更新记忆单元，引入了元素取值为[0，1]的输入门、遗忘门和输出门，通过门机制控制信息流。门可选性地允许信息流动，由一个Sigmoid神经网络层与一个点乘运算组成，Sigmoid神经网络层输出0和1之间的数字