双向循环网络 AND 深层循环网络

双向循环网络应用例子

       句子1： he is Tom Wody，one human。

       句子2：he is Tom cat， one animal。 

he is Tom___   如果想要知道空格是cat还是Wody，则需要，了解空格后的语句是human还是animal。 由于普通网络传递的单向性， 是不能够训练处一个网络来预测空格中单词的。双向循环网络就在这种情况下应运而生。其结构如下

 

输出 是根据正向反向两个网路输出决定的。

 

深层循环网络

深层循环网络其实就是多层循环网络的堆叠，一般对于循环网络进行堆叠的网络较少，且堆叠最多不会超过5层。其结构如下图所示 

                                             

 

这是一个三层的循环神经网络。每一个时间的输出都是由三层网络输出堆叠而成。