喜欢收集资源,一起分享交流
具体见https://www.tinymind.cn/articles/4265
循环神经网络部分
No33 QRNN模型论文:
在RNN模型的cell里,如果还只知道LSTM和GRU。那就太low了。快来补补吧:
如果想更多了解QRNN,可以参考以下论文:
http://arxiv.org/abs/1611.0157
No34 SRU模型论文:
接着来,各种RNN的Cell。又漂亮,又好吃!
SRU单元在本质上与QRNN单元很像。从网络构建上看,SRU单元有点像QRNN单元中的一个特例,但是又比QRNN单元多了一个直连的设计。
若需要研究SRU单元更深层面的理论,可以参考如下论文:
http://arxiv.org/abs/1709.0275
No35 IndRNN模型论文:
再补一个,这可都是好cell啊!
将IndRNN单元配合ReLu等非饱和激活函数一起使用,会使模型表现出更好的鲁棒性。
有关IndRNN单元的更多理论,可以参考论文:
http://arxiv.org/abs/1803.0483
No36 IndRNN模型论文:
最后,再来一个cell,如想要了解更多关于JANET单元的内容,可以参考以下论文: