李宏毅《Deep Learning》学习笔记 - RNN

RNN

视频：https://www.youtube.com/watch?v=xCGidAeyS4M
课件：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/RNN%20(v2).pdf

背景问题

Simple-RNN

使用RNN如何解决问题

注意：这里不是有3个Network，而是，同一个Network在不同的时间被使用了3次，这里，同样的weight使用相同的颜色表示。

Network可以更加复杂

传说Jordan Network相对而言，会有较好的performance。

LSTM

上面介绍的RNN是最简单的版本，目前，使用比较多的是下面这种LSTM。

在LSTM中，有3个gate，用于控制input，output，和forget。
每一个LSTM block有4个Input，1个output。
下面是block的详细信息：

原先存在memory里面的是c，输入是Z。

LSTM举例说明

下面是LSTM的一个简单例子，输入是3维的，输出是一维的。
下面的when是用于控制3个gate的条件，蓝色方框中的数字是memory的中间结果，下面红色框框中的是最终的输出。

下面以第一个[3,1,0]为例，看看经过block的输出是什么。其中，各自的权重，都标注在连线上。

下面是SimpleRNN的简化版本，将其中的neurons替换成LSTM block，就成了LSTM。

如下面这样的。由于有额外3个gate