本节将阐述几种之前没有介绍的RNN扩展结构。
1.递归神经网络
递归神经网络(recursive neural network)是RNN的一个扩展,它被构造为深的树状结构而不是RNN的链状结构,如图所示:
---来源花书
它与循环神经网络的区别在于,循环神经网络是时间上递归,而此网络是在结构上的递归。对于此网络来说,具有一个明显的优势:深度可以急剧减小,可能有助于解决长期依赖问题。但,有一个很大的问题:如何以最佳的方式构造树。
2.回声状态网络(ESN)
从结构上讲,ESNs是一种特殊类型的循环神经网络,其基本思想是:使用大规模随机连接的循环网络取代经典神经网络中的中间层,从而简化网络的训练过程。具体可以阅览另外一篇博客点击打开链接