CS224 树形递归神经网络

词袋模型

树形递归神经网络模型

人类语言是递归的吗？
循环神经网络语言模型和递归神经网络语言模型对比图：

递归神经网络模型是从下至上，而循环神经网络模型是不断从前缀得到信息往后执行。

目前比较少使用递归神经网络模型的原因是，将一个句子构建成一个树形结构是一个确定性分类选择，任何进行分类选择的地方，都将成为使用反向传播学习模型的一个问题，将这种复杂性置入模型，会使得对GPU不友好，因为它阻碍了分布计算（LSTM就是分布计算）。

树形递归神经网络和卷积神经网络对比：
树形递归神经网络只计算有意义的短语表示，合成向量是有一定语法的；而卷积神经网络就是计算每几个词的表示，不管它们组合起来是否有意义，只需统一计算而不需要选择。


递归神经网络实现过程中的细节：
当构建一个较大单元的表示时，拿其子单元构建一个二叉树，选择某种神经网络将其拼接在一起，之后同时得到两个结果，一个是向量（表示构建的较大单元的含义），一个是分数（对其进行分析判断是不是一个好的结构。）

向量： p = t a n h ( W [ c 2 c 1 + b ) p=tanh(W[^{c_1}_{c_2}+b) p=tanh(W[c