目录 一 递归神经网络基础 1 递归神经网络与前馈神经网络的联系与区别 1)网络结构 2)输入角度 3)输出角度 2 递归神经网络的架构类别 第一种架构类别:从输入和输出的序列长度角度 1)N:N(最为常见的架构) 2)N:M(Seq2Seq或者Encoder-Decoder模型) 3)1:N(处理如图片标注问题,x是图像特征,y是一个句子) 4)N:1(处理如序列分类问题(情感倾向分析)) 第二种架构类别:从隐层的传输方向角度 1)单向递归神经网络(以N:N为例) 2)双向递归神经网络(以N:N为例) 3 递归神经网络的正向与反向传播(以N:N为例) 1)正向传播(同FP过程) 2)反向传播(同BP过程,这里称为BPTT) 4 递归神经网络的梯度消失与梯度爆炸问题 1)梯度消失问题(长时依赖造成记忆消失) 2)梯度爆炸问题(长时依赖造成记忆紊乱) 二 递归神经网络隐层结构