引例:在买车票时,我们希望有一个网络,当我们说出“I would like to arrive at Taipei on November 2nd”时,它能判断出我们的目的地是Taipei,希望到达的时间是November 2nd.
我们把这称之为slot filling,这里的两个slot就是destination 和time of arrival。其实这个问题用一般的神经网络也能判断出Taipei是destination、November 2nd是time of arrival,但是如果你说的是‘I would like to leave Taipei on November 2nd,那么它还是会认为Taipei是destination,所以这样一来,一般的前馈神经网络就不怎么好了,NN needs memory!(需要NN记住前面是leave还是arrive)
一.RNN
1.RNN的前向传播
蓝色的a1、a2就是用来存储记忆的。打了红色圈圈的线表示weight。在这个例子中我们假设这个RNN已经训练好了,所有激活函数都是线性的,所有的weight都是1,a1、a2的初始值都是0,我们来看看RNN是如何运作的。
设第一个输入是[1,1],左边这个2是怎么来的呢?1 * w1+1 * w3+0 * w6+0 * w8=2;右边的2也是同样的思路,hidden layer(也就是图中的绿色)变成2,2之后,就把值存储在a1,a2中,所以a1,a2变成了2,2;然后继续向前:左边的4=2 * w10+2 * w12,右边的4也是同样的思路;这样第一个输入[1,1],输出就是[4,4]了。
第二个输入仍然是[1,1],左边的6=1 * w1+1 * w3+2 * w6+2 * w8,右边同样道理;hidden layer变成6、6之后,把6、6存储到a1、a2中,所以a1、a2变成了6、6;继续向前,左边的12=6 * w10+6 * w12,右边的12也是同样的思路;这样第二个输入[1,1],输出就是[12,12]了。
以上就是RNN运作的步骤,接下来看一下RNN在我们之前的那个引例上是如何工作的:
我们假设激活函数还是线性的(只是为了这里方便演示),则
a1 = x1*