Recurrent vs. Recursive Neural Networks | 递归神经网络和循环神经网络的RNN之争

最新推荐文章于 2024-01-25 01:52:04 发布

Ann's Blog

最新推荐文章于 2024-01-25 01:52:04 发布

阅读量2k

点赞数 5

分类专栏：人工智能文章标签： rnn 神经网络 lstm

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/qq_36667170/article/details/125547110

版权

人工智能专栏收录该内容

22 篇文章

订阅专栏

本文探讨了RNN（循环神经网络）和Recursive NN（递归神经网络）的区别。RNN常用于序列数据处理，而Recursive NN以其树状结构处理层次信息，如自然语言解析树。LSTM作为一种RNN变体，被扩展到树结构以增强表示能力。递归神经网络被认为是循环神经网络的推广，当其结构简化时与全连接的RNN等价。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写这个文章的原因是我又遇到了Recurrent和Recursive。我读了一个论文，开始的时候我心里默认是RNNs（Recurrent），但是读到文章最后发现作者写的是RNN（Recursive）。所以翻译一下这段文字顺便写一下二者的区别。

RNN-Based Models 部分翻译

下边的内容出自这篇文章。我将对RNN那一段进行翻译。
在这里插入图片描述

基于RNN的模型将文本视为一系列单词，用于为文本分类任务捕获单词依赖和文本结构关系。但是普通的RNN性能并不好，性能甚至比不上前馈神经网络。在众多RNN变体中，LSTM是最受欢迎的构架，因为LSTM可以更好地捕获长期依赖关系……

Tai等人^[33]开发了一个Tree-LSTM模型，将LSTM推广到树状结构的网络类型，以学习丰富的语义表示。作者认为，对于NLP任务，Tree-LSTM是一个比链式结构LSTM更好的模型……Zhu等人^[34]也将链结构的LSTM扩展到树结构……
在这里插入图片描述

为了模拟机器阅读的长跨度单词关系，Cheng 等人^[35]用记忆网络代替单个记忆单元来增强 LSTM 架构……Multi-Timescale LSTM神经网络^[36]还旨在通过捕获具有不同时间尺度的有价值信息来对长文本（例如句子和文档）进行建模……

RNN属于DNN（深度神经网络），称为递归神经网络（Recursive Neural Network） 。递归神经网络递归地将同一组权值应用于一个结构化输入，以产生一个结构化预测，或对可变大小的输入产生一个向量表示。虽然RNNs是具有线性链结构输入的递归神经网络，但也有递归神经网络对层次结构进行操作，如自然语言句子的解析树^[43]，将子表示组合成父表示……

问题就出在这，看了半天我脑子里都是循环神经网络，到最后作者告诉我是递归神经网络。

Recurrent vs. Recursive Neural Networks

循环神经网络（recurrent neural network ，Rumelhart et al., 1986c）通常被称为RNN，是一类用于处理序列数据的链式神经网络。
递归神经网络（recursive neural network，Pollack,1990）是具有树状阶层结构且网络节点按其连接顺序对输入信息进行处理的人工神经网络。

递归神经网络被视为循环神经网络的推广，换句话说递归神经网络被视为循环神经网络更一般的形式。 因为当递归神经网络的每个父节点都仅与一个子节点连接时，其结构等价于全连接的循环神经网络。

其他材料：