RNN
视频:https://www.youtube.com/watch?v=xCGidAeyS4M
课件:http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf
背景问题
Simple-RNN
使用RNN如何解决问题
注意:这里不是有3个Network,而是,同一个Network在不同的时间被使用了3次,这里,同样的weight使用相同的颜色表示。
Network可以更加复杂
传说Jordan Network相对而言,会有较好的performance。
LSTM
上面介绍的RNN是最简单的版本,目前,使用比较多的是下面这种LSTM。
在LSTM中,有3个gate,用于控制input,output,和forget。
每一个LSTM block有4个Input,1个output。
下面是block的详细信息:
原先存在memory里面的是c,输入是Z。
LSTM举例说明
下面是LSTM的一个简单例子,输入是3维的,输出是一维的。
下面的when是用于控制3个gate的条件,蓝色方框中的数字是memory的中间结果,下面红色框框中的是最终的输出。
下面以第一个[3,1,0]为例,看看经过block的输出是什么。其中,各自的权重,都标注在连线上。
下面是SimpleRNN的简化版本,将其中的neurons替换成LSTM block,就成了LSTM。
如下面这样的。由于有额外3个gate