统计语言模型(Statistical Language Model)-学习笔记

最新推荐文章于 2025-03-10 15:59:33 发布

Foneone

最新推荐文章于 2025-03-10 15:59:33 发布

阅读量1w

点赞数 9

分类专栏： NLP 文章标签： N-gram NLP

本文链接：https://blog.csdn.net/foneone/article/details/102832347

版权

统计语言模型是自然语言处理（Natural Language Processing,NLP）的基础模型，是从概率统计角度出发，解决自然语言上下文相关的特性的数学模型。统计语言模型的核心就是判断一个句子在文本中出现的概率。

模型

假定S表示某个有意义的句子，由一连串特定顺序排列的词 $\omega_{1}, \omega _{2}, \ldots, \omega_{n}$ 组成，这里n是句子的长度。现在，我们想知道S在文本中出现的可能性，即S的概率P(S)，则 $P(S)=P(\omega_{1}, \omega _{2}, \ldots, \omega_{n})$ 。

利用条件概率的公式：

$P(\omega_{1}, \omega _{2}, \ldots, \omega_{n})=P(\omega_{1})\cdot P(\omega_{1}|\omega_{2})\cdot P(\omega_{3}|\omega_{1},\omega_{2}) \ldots P(\omega_{n}|\omega_{1},\omega_{2} \ldots, \omega_{n-1})$

一般情况下： $P(\omega_{1}|<s>)$ 为更严谨的表示，表示 $\omega_{1}$ 在句子s开头出现的概率，因为句子是有顺序的，因此利用的是条件概率， $\omega_{1}$ 出现的情况下， $\omega _{2}$ 出现的概率， $\omega _{n}$ 的概率计算依靠前面n-1个词。

当计算 $P(\omega_{1})$ ，仅存在一个参数； $P(\omega_{1}|\omega_{2})$ ，存在两个参数，计算 $P(\omega_{3}|\omega_{1},\omega_{2})$ 存在三个参数，但是以此类推 $P(\omega_{n}|\omega_{1},\omega_{2} \ldots, \omega_{n-1})$ 存在n个参数，难易计算，因此在此基础上马尔可夫提出了，一种马尔可夫假设：假设 $\omega_{i}$ 出现的概率只前面N-1个词相关 $\omega_{i-N+1},...,\omega_{i-2},\omega_{i-1}$ ，当N=2时，就是简单的二元模型（Bigram Model），当N=N时，就是常说的N元模型（N-gram Model）。