比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算了

比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算

 

 

 

论文和开源代码地址：

https://arxiv.org/pdf/1807.02291.pdf

https://github.com/zepingyu0512/srnn

 

 

 

在许多NLP任务中，循环神经网络（RNN）取得了巨大的成功。但是，这种循环的结构使它们难以并行化，因此，训练RNN需要大量的时间。

 

上海交通大学的Zeping Yu 和Gongshen Liu，在论文“Sliced Recurrent Neural Networks”中，提出了全新架构“切片循环神经网络”（SRNN）。SRNN可以通过将序列分割成多个子序列来实现并行化。SRNN能通过多个层获得高级信息，而不需要额外的参数。

 

研究人员证明了当使用线性激活函数时，标准RNN是SRNN的一个特例。在不改变循环单元的情况下，SRNN的速度是标准RNN的136倍，并且当训练更长的序列时可能会更快。对六个大型情绪分析数据集的实验表明，SRNN的性能优于标准RNN。

 

提高RNN训练速度的多种方法

 

循环神经网络（RNN）已经被广泛用于许多NLP任务，包括机器翻译、问题回答、图像说明和文本分类。RNN能够获得输入序列的顺序信息。最受欢迎的两个循环单元是长短期记忆（LSTMÿ