NLP-C2-W3-N-gram和自动补全

自动补全系统的一个关键组成部分是语言模型。给语言序列分配概率，更容易出现的序列得分越高。例如，“我有一支笔”比“我是一支笔”的概率更高，因为第一个句子在现实世界中更容易出现。

步骤

1. 加载和预处理数据
   • 加载和tokenize数据
   • 把句子分成训练集和测试集。
   • 用一个<unk>标记替换低频单词。
2. 开发基于N-gram的语言模型
   • 从给定的数据集计算n_gram的计数。
   • 用k-smoothing估计下一个词的条件概率。
3. 通过计算困惑度来评价N-gram模型。
4. 根据你的句子，给出接下来的单词的建议。

开发n-gram模型

假设下一个单词的概率只取决于前一个n-gram。

计算条件概率

给定前面n个单词$w_{t-1},w_{t-2}\cdots w_{t-n}$，则句中“t”位置的单词的条件概率是：

$$P(w_t|w_{t-1}\dots w_{t-n})\text{\hspace{1em}(1)}$$
可以通过计算训练数据中这些单词序列的出现次数来估计这种概率。
概率可以用比率来估计，其中：
分子是训练数据中单词t-1到t-n之后“t”位置出现该单词的次数。
分母是单词t-1到t-n在训练数据中出现的次数。
P ^ ( w t ∣ w t − 1 … w t − n ) = C ( w t − 1 … w t − n , w n ) C ( w t − 1 … w t − n ) (2) \hat{P}(w_t | w_{t-1}\dots w_{t-n}) = \frac{C(w_{t-1}\dots w_{t-n}, w_n)}{C(w_{t-1}\dots w_{t-n})} \tag{2}