《动手学——语言模型》笔记

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列$w_1,w_2,\dots ,w_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

$$P(w_1,w_2,\dots ,w_T).$$

本节我们介绍基于统计的语言模型，主要是$n$元语法（$n$-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。

语言模型

假设序列$w_1,w_2,\dots ,w_T$中的每个词是依次生成的，我们有

$$P(w_1,w_2,\dots ,w_T)=P(w_1)P(w_2\mid w_1)\cdots P(w_T\mid w_1{w}_2\cdots w_{T-1})$$

例如，一段含有4个词的文本序列的概率

$$P(w_1,w_2,w_3,w_4)=P(w_1)P(w_2\mid w_1)P(w_3\mid w_1,w_2)P(w_4\mid w_1,w_2,w_3).$$

n元语法

序列长度增加，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。$n$元语法通过马尔可夫假设简化模型，马尔科夫假设是指一个词的出现只与前面$n$个词相关，即$n$阶马尔可夫链（Markov chain of order $n$），如果$n=1$，那么有$P(w_3\mid w_1,w_2)=P(w_3\mid w_2)$。

基于$n-1$阶马尔可夫链，我们可以将语言模型改写为

$$P(w_1,w_2,\dots ,w_T)=\prod _{t=1}^{T}P(w_t\mid w_{t-(n-1)},\dots ,w_{t-1}).$$

以上也叫$n$元语法（$n$-grams），它是基于$n-1$阶马尔可夫链的概率语言模型。

例如，当$n=2$时，含有4个词的文本序列的概率就可以改写为：

$$\begin{gathered} P(w_1,w_2,w_3,w_4)=P(w_1)P(w_2\mid w_1)P(w_3\mid w_1,w_2)P(w_4\mid w_1,w_2,w_3) \\ =P(w_1)P(w_2\mid w_1)P(w_3\mid w_2)P(w_4\mid w_3) \end{gathered}$$

时序数据的采样

随机采样

每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数，num_steps是每个样本所包含的时间步数。
在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。

相邻采样

在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻。