线性回归、语言模型与数据集、文本预处理打卡学习

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列$w_1,w_2,\dots ,w_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

$$P(w_1,w_2,\dots ,w_T).$$

本节我们介绍基于统计的语言模型，主要是$n$元语法（$n$-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。（概率大，则合理，概率小，序列比较不合理）

语言模型

假设序列$w_1,w_2,\dots ,w_T$中的每个词是依次生成的，我们有

例如，一段含有4个词的文本序列的概率

$$P(w_1,w_2,w_3,w_4)=P(w_1)P(w_2\mid w_1)P(w_3\mid w_1$$