RNN中的skip操作

Learning to Skim Text
    每次阅读R个词，然后根据当前状态输出跳转步数。使用RL训练。

 

SKIP RNN: LEARNING TO SKIP STATE UPDATES IN RECURRENT NEURAL NETWORKS

    每步决策是否更新state（即选择接收输入或者忽略），用一个round函数当做hard gate。不采用RL更新，直接将阶梯函数的梯度估计为1。

 

Reinforced Self-Attention Network:
a Hybrid of Hard and Soft Attention for Sequence Modeling

    将hard注意力和soft注意力机制结合。hard注意力直接选取部分词，减少计算开销；soft注意力融合信息。为了快速得到hard注意力，采用可并行的方法，使用加了pooling的f函数作为特征，各个位置独立输出决策概率。因为f中有全局信息，每次决策可以认为考虑了全局。
 

Phased LSTM: Accelerating Recurrent Network Training for Long or Event-based Sequences

    使用周期门控制state的更新