1、循环神经网络 RNN
循环神经网络是一个自身构成循环的网络,网络块A的输入为X_t,输出为h_t。
循环神经网络可以被认为是同一个网络的多份拷贝,每一个网络传递信息到下一个网络。如果展开RNN,可以看到如下图所示:
RNN的一大亮点是它能够连接之前的信息到当前的任务,比如,在一个视频中,可以根据之前的图像帧,预测当前的帧。或者是根据一句话中之前的单词,预测下一个出现得单词。RNN可以学习过去的信息:
但是在某些情况下,我们需要更多背景信息。 考虑尝试预测文本“我在法国长大……我会说流利的法语”中的最后一个词。根据最近的信息表明,下一个词可能是一种语言的