【NLP】循环神经网络基础

RNN

Sequence Data

参考

一个球放在桌面，你要猜它往哪边滚，如果什么信息都没有，只能随机猜。

但如果告诉你球之前的运动轨迹，就可以预测，球往哪边滚。

Sequence data有很多种形式。譬如你可以把声谱图切成块块喂给RNN。当然Text的一句话，或者一个词都可以拆成各种块。

Sequential memery

RNN擅长被投喂sequence data来做predictions，它是怎么做到的呢？这里就有个概念Sequential memery。
ABCDEFGHIJKLMN...很容易记住，倒过来...NMLKJIHGFEDCBA除非训练过，很难记住，所以说：

Sequential memery is a mechanism that make it easier for your brain to recognize sequence patterns

这样我们就明白了，RNN就有这种sequential memory。

RNN可以做很多事，譬如Machine Translation，用词描述图片等：

RNN is good at processing sequence data for predictions, but suffer from short term memory.

Backpropagation Through Time (BPTT)