可以认为Recurrent Structure是Recursive Structure的一种子集。
以情感分析任务为例
一个递归的结构是这样的,隐藏层h的维度要和输入x相同。
从语法结构上进行解释:“very”要和“good”放在一起,再被“not”否定。
希望“very”和“good”经过函数f(会是一个复杂的NN)得到的结果,意思为“very good”
这个network要处理一些复杂的情况,
如知道"not"会反转另一个输入的语义
知道"very"会强调另一个输入的语义
一次训练过程如下图所示:
那么f这种神经网络的结构应该是什么样呢?
Recursive Neural Tensor Network
保持输出与各个输入的维度相同,两个W的权值是不同的。
思想是想让两个输入向量之间做点积运算。
stanford提供的demo
可以生成一个sentiment trees
后面几页PPT念的太快了,如果有机会读相应论文再去深入了解吧。
Matrix-Vector Recursive Network
Tree LSTM
李宏毅2020机器学习深度学习:Recursive Structure
最新推荐文章于 2022-02-25 17:41:47 发布