文章目录
RNN
Sequence Data
一个球放在桌面,你要猜它往哪边滚,如果什么信息都没有,只能随机猜。
但如果告诉你球之前的运动轨迹,就可以预测,球往哪边滚。
Sequence data有很多种形式。譬如你可以把声谱图切成块块喂给RNN。当然Text的一句话,或者一个词都可以拆成各种块。
Sequential memery
RNN擅长被投喂sequence data来做predictions,它是怎么做到的呢?这里就有个概念Sequential memery。
ABCDEFGHIJKLMN...
很容易记住,倒过来...NMLKJIHGFEDCBA
除非训练过,很难记住,所以说:
Sequential memery is a mechanism that make it easier for your brain to recognize sequence patterns
这样我们就明白了,RNN就有这种sequential memory。
RNN可以做很多事,譬如Machine Translation,用词描述图片等:
RNN is good at processing sequence data for predictions, but suffer from short term memory.
Backpropagation Through Time (BPTT)
def bptt(self, x, y