李宏毅ML+DL学习记录：RNN

        引例:在买车票时，我们希望有一个网络，当我们说出“I would like to arrive at Taipei on November 2^nd”时，它能判断出我们的目的地是Taipei,希望到达的时间是November 2^nd.
        我们把这称之为slot filling，这里的两个slot就是destination 和time of arrival。其实这个问题用一般的神经网络也能判断出Taipei是destination、November 2^nd是time of arrival，但是如果你说的是‘I would like to leave Taipei on November 2^nd，那么它还是会认为Taipei是destination，所以这样一来，一般的前馈神经网络就不怎么好了，NN needs memory！（需要NN记住前面是leave还是arrive）

一.RNN

1.RNN的前向传播

        蓝色的a1、a2就是用来存储记忆的。打了红色圈圈的线表示weight。在这个例子中我们假设这个RNN已经训练好了，所有激活函数都是线性的，所有的weight都是1，a1、a2的初始值都是0，我们来看看RNN是如何运作的。

        设第一个输入是[1,1],左边这个2是怎么来的呢？1 * w1+1 * w3+0 * w6+0 * w8=2;右边的2也是同样的思路，hidden layer（也就是图中的绿色）变成2,2之后，就把值存储在a1,a2中，所以a1,a2变成了2,2；然后继续向前：左边的4=2 * w10+2 * w12,右边的4也是同样的思路；这样第一个输入[1,1],输出就是[4,4]了。

        第二个输入仍然是[1,1],左边的6=1 * w1+1 * w3+2 * w6+2 * w8,右边同样道理；hidden layer变成6、6之后，把6、6存储到a1、a2中，所以a1、a2变成了6、6；继续向前，左边的12=6 * w10+6 * w12,右边的12也是同样的思路；这样第二个输入[1,1],输出就是[12,12]了。
        以上就是RNN运作的步骤，接下来看一下RNN在我们之前的那个引例上是如何工作的：

        我们假设激活函数还是线性的（只是为了这里方便演示），则
        a1 = x1* w1+a0* w2,y1 = a1*