Deep Learning Specialization 5: Sequence Models - Week 1 - Recurrent Neural Networks

这周的内容还是比较多的，得反复看很多遍才能领会，尤其是在吃瓜子不吃瓜子就打瞌睡的情况下。

为什么要用RNN¹？

1. 序列数据及问题示例

从输入与输出数量不同可以分为：

1. many to many
   • 长度相同：命名实体识别
   • 长度不同：语音识别/机器翻译
2. many to one：情感分析/视频动作识别
3. one to many：音乐合成

2. 符号

$x^{<t>}$: 一个样本中t时刻的值

$T_x$: 输入序列的长度

$y^{<t>}$：一个样本中的第t个输出（不一定与$x$对应）

$T_y$：输出的序列长度

3. 基本的RNN单元

$$a^{<t>}=\tanh (W_{aa}{a}^{<t-1>}+W_{ax}{x}^{<t>}+b_a)$$

$$y^{<t>}=\text{softmax}(W_{ya}{a}^{<t>}+b_y)$$

将W矩阵做列增广、a和x做行增广，可以简化写法（就是简单的$1\times 2$和矩阵和$2\times 1$的矩阵相乘）。
$$a^{<t>}=\tanh (\left[W_{aa}⋮W_{ax}\right]\left[\begin{array}{c}{a}_{<t-1>}\\ x^{<t>}\end{array}\right]+b_a)$$

图中$a^{<0>}=\vec{0}$。

很明显图没有公式直观，但是看懂公式了再回过头来看图还是可以的。

4. Language model

RNN也是可以用来学习语言模型的，下图在老师的图上进行了一些修改。

5. Gated Recurrent Unit (GRU)

RNN也面临严峻的Vanishing Gradients的问题，GRU是一种解决方案。

RNN Unit
$$a^{<t>}=g(W_a\left[a^{<t-1>},x^{<t>}\right]+b_a)$$
Gate RNN Unit
$$\begin{array}{cc}{\tilde{c}}^{<t>}& =\tanh (W_c\left[{\Gamma }_r\times c^{<t-1>},x^{<t>}\right]+b_c)\\ {\Gamma }_u& =\sigma (W_u\left[c^{<t-1>},x^{<t>}\right]+b_u)\\ {\Gamma }_r& =\sigma (W_r\left[c^{<t-1>},x^{<t>}\right]+b_r)\\ c^{<t>}& ={\Gamma }_u\times {\tilde{c}}^{<t>}+(1-{\Gamma }_u)\times c^{<t-1>}\end{array}$$
其中，

• 记忆单元$c^{<t>}=a^{<t>}$
• ${\Gamma }_u$: update
• ${\Gamma }_r$: relevance

理解了计算逻辑之后，再用图片² 简化一下记忆。符号略有差异，但是应该对理解问题没有障碍。

6. Long Short Term Memeory (LSTM) network

LSTM Unit

Forget gate
$${\Gamma }_f^{<t>}=\sigma (W_f[a^{<t-1>},x^{<t>}]+b_f)$$
Update gate
$${\Gamma }_u^{<t>}=\sigma (W_u[a^{<t-1>},x^{<t>}]+b_u)$$
Updating the cell
$$\begin{array}{cc}{\tilde{c}}^{<t>}& =\tanh (W_c[a^{<t-1>},x^{<t>}]+b_c)\\ c^{<t>}& ={\Gamma }_f^{<t>}\ast c^{<t-1>}+{\Gamma }_u^{<t>}\ast {\tilde{c}}^{<t>}\end{array}$$
Output gate
$$\begin{array}{cc}{\Gamma }_o^{<t>}& =\sigma (W_o[a^{<t-1>},x^{<t>}]+b_o)\\ a^{<t>}& ={\Gamma }_o^{<t>}\ast \tanh (c^{<t>})\end{array}$$

仍然是理解了计算之后再来看图就容易理解多了

7. Bidirectional RNN & Deep RNN

• 在自然语言处理中双向RNN的使用应该是比较自然的。
• 叠加多层可以捕捉更复杂的模式，一般不会太多（两三层）

没什么想法，就是感觉电费在燃烧。

---

1. a 未标注的图上均是来自课程的PPT加工而来 ↩︎

2. 图片来自wikipedia Gated Recurrent Unit ↩︎