语言模型笔记 语言模型 描述自然语言概率分布的模型,可以计算一个词序列或一句话的概率,也可以在给定上下文的条件下对接下来可能出现的词进行概率分布的估计。 马尔科夫假设 下一个元素出现的概率只依赖于它前面n-1个元素 N元语言模型 当N很大时,计算概率的依赖很长,在文本数据中很少出现或没有,可能会出现零概率的情况。使用平滑(损有余而补不足),加1平滑,加 δ \delta δ 平滑( 0 ≤ δ ≤ 1 0\leq\delta\leq1 0≤δ≤1)