2021斯坦福CS224N课程笔记~3

---

前言

文章主要记录视频学习笔记，供大家参考学习。

---

一、Lecture 5 ~ Language Models and RNNs

Language Modeling

语言建模，预测下一个单词是什么，正式表述：给定一个单词序列x⁽¹⁾, x⁽²⁾,…, x^(t)，计算下一个单词x^(t+1)的概率分布：P(x^(t+1) |x^(t),…,x⁽¹⁾)

其中， x^(t+1)可以是词表中的任意单词V={w₁,…,w_|V|}

N-gram Language Models： n-gram是一个由n个连续单词组成的块，示例：

• unigrams: “the”, “students”, “opened”, “their”
• bigrams: “the students”, “students opened”, “opened their”
• trigrams: “the students opened”, “students opened their”
• 4-grams: “the students opened their”

假设：单词x^(t+1)只依赖前面的n-1个单词，即

分子是n-gram的概率，分母是(n-1)-gram的概率分布。

示例：学习一个4-gram的语言模型

N-gram Language Models的稀疏性问题： 若“students open their w” 从未出现在数据中，概率值为 0：解决方案：为每个w∈V添加极小数δ，称为平滑，使得词表的每个单词至少存在很小概率；如果“students open their” 从未出现在数据中，则无法计算任何单词w的概率值：

解决方案：采用backoff模式，缩短上下文长度，如这里将条件改为“open their”。

一般情况下 n 不能大于5，增加 n 或增加语料库均会增加模型大小。

Recurrent Neural Networks

RNN，核心想法是重复使用相同的权重矩阵W。

优点：

• 可以处理任意长度输入
• 理论上步骤t的计算可以使用之前的信息
• 模型大小不会随着输入增加而增加
• 每个时间步上应用权重相同，处理输入时具有对称性

缺点：

• 递归计算速度慢
• 实际应用中之前步的信息难以返回

损失函数：平均所有步骤上的损失，即

BP中的梯度计算公式如下：
评估标准：perplexity，即交叉熵损失J(θ)的指数：

二、Lecture 6 ~ Simple and LSTM RNNs

梯度消失问题

当梯度较小时，随着反向传播的不断深入，梯度信号越来越小.

证明：

如果权重矩阵W_h很小，则W_h^(i-j)也会随着i和j的距离增加而减小。

梯度消失后果：

• 模型权重只根据近期效应进行更新
• 若梯度从时间步t到t+n距离内越来越小，可认为t和t+n步之间的数据没有依赖关系，则该模型无法学习长距离依赖关系

梯度消失解决办法：

• Gradient clipping：如果梯度的范数大于某个阈值，在应用SGD更新之前将其缩小
• LSTM/GRU
• Skip connections（如ResNet）

LSTM和GRU

LSTM

输入序列x^(t)，隐藏状态h^(t)，单元状态c^(t)，σ()是值介于0和1之间的sigmoid函数。

• 遗忘门： f^(t)= σ(W_fh^(t-1)+U_fx^(t)+b_f)
• 输入门： i^(t)= σ(W_ih^(t-1)+U_ix^(t)+b_i )
• 输出门： o^(t)= σ(W_oh^(t-1)+U_ox^(t)+b_o )
• 新的单元内容：c ̃^(t)= tanh(W_c h^(t-1)+U_c x^(t)+b_c )
• 单元状态： c^(t)= f^(t) ° c^(t-1)+ i^(t) ° c ̃^(t)
• 隐藏状态： h^(t)= o^(t) ° tanhc^(t)
  
  LSTM通过遗忘门保存之前时间步的信息，若遗忘门设置为记得每一时间步的所有信息，则单元信息将被无限保存。

GRU

输入序列x^(t)，隐藏状态h^(t)

• 更新门： u^(t)= σ(W_uh^(t-1)+U_ux^(t)+b_u )
• 重置门： r^(t)= σ(W_rh^(t-1)+U_rx^(t)+b_r )
• 新的隐藏状态内容： h ̃^(t)= tanh(W_h(r^(t)°h^(t-1))+U_hx^(t)+b_h)
• 隐藏状态： h^(t)= (1-u^(t))°h^(t-1)+ u^(t)°h ̃^(t)

LSVM vs GRU？-----GRU计算速度更快，参数更少
没有明确证据表明其中一个总是比另一个表现更好，当数据具有长依赖关系或者训练数据较多时，LSTM可作为默认选择，若想要提升销量，可使用GRU。

Bidirectional 和 Multi-layer RNNs

Bidirectional RNNs： 只适用于访问整个输入序列的情况，不适用于语言建模


Multi-layer RNNs：应用多个RNNs使它们“深入”到另一个维度 。