RNN系列之八 其它RNN

    本节将阐述几种之前没有介绍的RNN扩展结构。

1.递归神经网络

    递归神经网络（recursive neural network）是RNN的一个扩展，它被构造为深的树状结构而不是RNN的链状结构，如图所示：

                                      

                                                    ---来源花书

    它与循环神经网络的区别在于，循环神经网络是时间上递归，而此网络是在结构上的递归。对于此网络来说，具有一个明显的优势：深度可以急剧减小，可能有助于解决长期依赖问题。但，有一个很大的问题：如何以最佳的方式构造树。

2.回声状态网络（ESN）

    从结构上讲，ESNs是一种特殊类型的循环神经网络，其基本思想是：使用大规模随机连接的循环网络取代经典神经网络中的中间层，从而简化网络的训练过程。具体可以阅览另外一篇博客点击打开链接