动手学深度学习——语言模型

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列${\omega }_1,{\omega }_2,...,{\omega }_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率。假设序列的每个词是依次生成的，则：
$$P({\omega }_1,{\omega }_2,...,{\omega }_T)={\Pi }_{t=1}^{T}P({\omega }_t|{\omega }_1,...,{\omega }_{t-1})=P({\omega }_1)P({\omega }_2|{\omega }_1)...P({\omega }_T|{\omega }_1{\omega }_2...{\omega }_{T-1})$$
语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。设训练数据集为一个大型文本语料库，如维基百科的所有条目，词的概率可以通过该词在训练数据集中的相对词频来计算，例如,${\omega }_1$的概率可以计算为：
$$\hat{P}({\omega }_1)=\frac{n({\omega }_1)}{n}$$
其中$n({\omega }_1)$为语料库中以\omega_{1}作为第一个词的文本的数量，$n$为语料库中文本的总数量。
$$\hat{P}({\omega }_2|{\omega }_1)=\frac{n({\omega }_1,{\omega }_2)}{n({\omega }_1)}$$
其中$n({\omega }_1,{\omega }_2)$为语料库中以${\omega }_1$作为第一个词，${\omega }_2$作为第二个词的文本的数量。

时序数据的采样

时序数据的采样有两种：随机采样和相邻采样。

（1）随机采样
每次迭代中随机采样一个小批量作为训练数据。在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。
（2）相邻采样
在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻。