循环神经网络之语言模型和数据集

总结重要知识点

• 在给定这样的文本序列时，语言模型（language model）的目标是估计序列的联合概率

• 语言模型是自然语言处理的关键。

• 元语法通过截断相关性，为处理长序列提供了一种实用的模型。

• 长序列存在一个问题：它们很少出现或者从不出现。

• 齐普夫定律支配着单词的分布，这个分布不仅适用于一元语法，还适用于其他
  元语法。

• 通过拉普拉斯平滑法可以有效地处理结构丰富而频率不足的低频词词组。

• 读取长序列的主要方式是随机采样和顺序分区。在迭代过程中，后者可以保证来自两个相邻的小批量中的子序列在原始序列上也是相邻的。