李宏毅机器学习之Recurrent Neural Network

应用举例：

slot filling（空值填充），以买票系统为例当出现Destination时会出现相关的地址名，当出现time of arrival时会出现时间。



有记忆功能的神经网络，就是RNN。

1.1 常用编码方式

1.2 介绍RNN

其实现过程为：
step1:
假设所以神经元权重为1，偏差为0。所以的激活函数为线性的。

1.3 RNN的变体形式

Elman Network：将隐藏层的w值存起来，在下一时刻在读出来。
Jordan Network：存的是整个网络的输出值，在下一时刻将输出值给进隐藏层。

Bidirectional RNN：双向RNN

LSTM：long short-term Memory

在LSTM实际过程中，同时考虑了ct、ht、xt+1。

Learning Target

为什么把RNN换成LSTM：
LSTM可以解决梯度消失的问题。

Gated Recurrent Unit（GRU）

其他用到memory的model

Deep Learning与Structured Learning的区别