Training RNNs as Fast as CNNs

1. Introduction
   第一段说深度学习目前的最新进展是增加模型能力和相关计算，这涉及了更大更深的网络，相应地网络的参数就会增大，　到目前位置计算速度仍然是深度学习研究的瓶颈
   第二段内容是CNN和attention可以利用多线程和GPU加快计算速度，但是RNN仍然不适合并行化，因为h$_t$的计算前提是h$_{t-1}$的计算完成
   第三段也就是本文的主要工作，将RNN改进成SRU, c$_t$的计算仍然依赖于c$_{t-1}$, 但是h$_t$依赖与h$_{t-1}$的计算去掉了。速度持平或优于CNN.
   第四段说明改进的SRU在很多任务的测评上，不仅速度快，而且性能非常好

2. Method
   　此处首先给出LSTM计算h$_t$的公式：
   　　　　　（１）
   　　　　　　（２）
   　　　（３）
   　　　　　　　　（４）
   　　　　　（５）
   　　　　　　　　　　　　（６）
   　由上面的公式可得：如果要计算公式（６）中的h$_t$, 必须先计算公式（４），要计算公式（４），必选计算公式（３），而公式（３）中的h$_{t-1}$必须先计算出来，也就是h$_t$的计算依赖于h$_{t-1}$。
   　举个例子，句子长度为３，sent = {x$_1$, x$_2$, x$_3$}, 要计算x$_3$的隐层状态h$_3$必选先计算x$_2$的隐层状态h$_2$, 要计算h$_2$必选先计算x$_1$的隐层状态h$_1$, 三个隐层状态依次计算的顺序是h$_1$, 然后h$_2$, 最后是h$_3$，　由于存在依赖关系，所以不能并行计算。计算所需要的时间就会很长。
   　改进SRU的计算公式：
   　
   SRU公式中h$_t$的计算不再依赖与h$_{t-1}$, 公式（３）～（５）在时间序列上1,…,t,…n上同时计算出来，也就是可以并行运算，　公式（６）不涉及矩阵运算，所以耗费事件很少。

另外本文还用来了
(1)skip connections: 出自文章
(2)highway connections: 出自文章
(3)variational dropout:出自文章