一、递归神经网络与传统神经网络的差异:
主要是引入了先后、时序等影响前后关系的因子
二、网络结构:
其中h0···ht为中间各个过程的结果,而h0作用于h1,h1作用于h2······其由此循环,产生一反馈效果
一般结果就是ht
三、改进:
LSTM网络:由于RNN最终结果和前面所有结果都有关系,因此可能会有误差,因此选择性消除某些因子,即某些hn
网络结构对比:
具体结构如下
控制参数:在整个过程中需要不断维护
门单元:与传统神经网络一致
决定丢弃信息组件:
确定更新的信息组件: