NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

[1] Complex Gated Recurrent Neural Networks

Moritz Wolter, Angela Yao

University of Bonn, National University of Singapore

https://papers.nips.cc/paper/8253-complex-gated-recurrent-neural-networks.pdf

复数在数字信号处理中起了非常重要的作用，但是复数表示在深度学习结构中很少出现。

循环神经网络，在时间序列和序贯信息中广泛使用，这种网络结合复数表示会从中得益许多。这篇文章提出一种新的复数域门限循环单元，这种单元利用门限机制结合了复数域和保范数的状态变换。所得RNN稳定性非常好，并且收敛性也较好，在人工合成的记忆以及加法任务中表现卓越，在人类姿势预测中效果也较好。

该论文的主要贡献如下

相关导数计算方式及链式法则如下

激活函数Hirose表达式如下

激活函数modRELU的表达式如下

两种函数的等值表面图如下

本文方法跟其他两种方法在两种问题上的效果对比如下

其中1对应的论文为

Unitary evolution recurrent neural networks, ICML 2016

4对应的论文为

Learning phrase representations using RNN encoder–decoder for statistical machine translation, EMNLP 2014

40对应的论文为

Full-capacity unitary recurrent neural networks, NIPS 2016

代码地址

https://github.com/stwisdom/urnn

非线性与保范数状态转换矩阵对cgRNN的影响对比如下

人类姿势识别中的效果对比如下

其中