语言模型和数据集

提示：语言模型【动手学深度学习v2】

---

前言

语言模型的目标是估计联合概率。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、应用

1. 预训练。
2. 生成文本。
3. 判断多个序列哪一个更常见。例如，短语“to recognize speech”和“to wreck a nice beach”读音上听起来非常相似。

二、计数建模

三、n元语法

1. 可以处理比较长的序列。

2. 语言模型是自然语言处理的关键。

3. n元语法通过截断相关性，为处理长序列提供了一种实用的模型。

4. 长序列存在一个问题：它们很少出现或者从不出现。

5. 通过拉普拉斯平滑法可以有效地处理结构丰富而频率不足的低频词词组。

6. 读取长序列的主要方式是随机采样和顺序分区。在迭代过程中，后者可以保证来自两个相邻的小批量中的子序列在原始序列上也是相邻的。