EleAtt-RNN: Adding Attentiveness to Neurons in Recurrent Neural Networks

EleAtt-RNN: Adding Attentiveness to Neurons in Recurrent Neural Networks

EleAtt-RNN: 在循环神经网络的神经元当中加入注意力

1.创新点

现在研究者研究RNN，把注意力集中在现在和之前的输入对输出的贡献上，这篇文章（为了简单，下称本文，并不是说这篇文章是我写的，我只是在做阅读这篇文章的笔记）研究了在一个输入向量中，哪些元素的重要性比较大的问题。在一个RNN块（RNN神经元，可以是传统RNN、LSTM、GRU等多种RNN结构）中加入Element-wise-Attention Gate (EleAttG)，使得RNN的单个神经元可以具有类似注意力机制的能力。

2.研究领域目前存在的问题以及已有的解决方法

2.1Standard RNN 具有梯度消失的问题，导致网络很难学习长距离的依赖关系，研究者在Standard RNN的神经元中加入门结构和线性记忆单元，例如LSTM GRU 来控制数据流动，在一定程度上解决了梯度消失的问题。Hochreiter提出了LSTM网络，LSTM网络在传统RNN神经元中添加了记忆单元，只允许有限误差流动，并且提出了几种其他的门结构来控制误差流动，Gers在之前的LSTM网络中提出了忘记门结构控制由前一个神经元传递到当前神经元的误差。以及peephole LSTM 网络结构 还有GRU网络

2.2梯度消失问题另一种解决方式是残差连接（Residual connection）。Campos提出skip rnn，通过残差连接，在训练和测试过程中跳过一些状态的更新，这使得计算图变小。

2.3针对注意力机制，目前研究者们所设计的注意力大部分是针对一组特征向量而言的，是