（pytorch-深度学习）语言模型-学习笔记

语言模型

自然语言处理中最常见的数据是文本数据。我们可以把一段自然语言文本看作一段离散的时间序列。

假设一段长度为$T$的文本中的词依次为$w_1,w_2,\dots ,w_T$，那么在离散的时间序列中：

• $w_t$（$1\le t\le T$）可看作在时间步（time step）$t$的输出或标签。

给定一个长度为$T$的词的序列$w_1,w_2,\dots ,w_T$，语言模型将计算该序列的概率：
$$P(w_1,w_2,\dots ,w_T)$$

语言模型可用于提升语音识别和机器翻译的性能。

语言模型的计算方式

假设序列$w_1,w_2,\dots ,w_T$中的每个词是依次生成的，即有：
$$P(w_1,w_2,\dots ,w_T)=\prod _{t=1}^{T}P(w_t\mid w_1,\dots ,w_{t-1}).$$
这表示所有的词出现的概率只与其前面有哪些词有关

例如，一段含有4个词的文本序列的概率为：
$$P(w_1,w_2,w_3,w_4)=P(w_1)P(w_2\mid w_1)P(w_3\mid w_1,w_2)P(w_4\mid w_1,w_2,w_3).$$

一个词在给定前几个词的情况下的条件概率就是语言模型参数

词的概率可以通过该词在训练数据集中的相对词频来计算，例如，$P(w_1)$可以计算为$w_1$在训练数据集中的词频（词出现的次数）与训练数据集的总词数之比。

根据条件概率定义，一个词在给定前几个词的情况下的条件概率也可以通过训练数据集中的相对词频计算。例如，$P(w_2\mid w_1)$可以计算为$w_1,w_2$两词相邻的频率与$w_1$词频的比值，因为该比值即$P(w_1,w_2)$与$P(w_1)$之比。

$n$元语法

当序列长度增加时，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。$n$元语法通过马尔可夫假设（虽然并不一定成立）简化了语言模型的计算。

这里的马尔可夫假设是指一个词的出现只与前面$n$个词相关，即$n$阶马尔可夫链（Markov chain of order $n$）。

• 如果$n=1$，那么有$P(w_3\mid w_1,w_2)=P(w_3\mid w_2)$。

如果基于$n-1$阶马尔可夫链，我们可以将语言模型改写为：
$$P(w_1,w_2,\dots ,w_T)\approx \prod _{t=1}^{T}P(w_t\mid w_{t-(n-1)},\dots ,w_{t-1}).$$

很容易理解：

• 当$n$较小时，$n$元语法往往不准确。
• 而当$n$较大时，$n$元语法需要计算并存储大量的词频和多词相邻频率，计算复杂度会很高。

最重要的工作是找到一个方法在语言模型中更好地平衡以上这两点，设置较为合适的$n$的取值