NLP学习(5) 语言模型

语言模型 (Language Model)

用口语来说, 就是判断一句话是否在语法上通顺

Compute the probability of a sentence or sequence of words.

Noise Channel Model

由源文本生成目标文本的概率 $\text{p}(test|source)\propto \text{p}(source|text)\text{p}(text)$

例如, 拼写纠错 $\text{p}(正确单词|错误单词)\propto \text{p}(错误单词|正确单词)\text{p}(正确单词)$

$\text{p}(text)$是语言模型, 目标字符串要符合语法

Unigram

$\text{p}([今天,是,春节,我们,都,休息])=\text{p}(今天)\text{p}(是)\text{p}(春节)\text{p}(我们)\text{p}(都)\text{p}(休息)$

$\text{p}([今天,春节,是,都,我们,休息])=\text{p}(今天)\text{p}(是)\text{p}(春节)\text{p}(我们)\text{p}(都)\text{p}(休息)$

不通的次序会生成相同的概率.

Bigram

$\text{p}([今天,是,春节,我们,都,休息])=\text{p}(今天)\text{p}(是|今天)\text{p}(春节|是)\text{p}(我们|春节)\text{p}(都|我们)\text{p}(休息|都)$

$\text{p}([今天,春节,是,都,我们,休息])=\text{p}(今天)\text{p}(春节|今天)\text{p}(是|春节)\text{p}(都|是)\text{p}(我们|都)\text{p}(休息|我们)$

N-gram

N>2都称为Higher Order

N=3称为Tri-gram

概率估计

Unigram

假设有语料库

5项| 今天 的 天气 很好 啊
5项| 我 很 想 出去 运动
5项| 但 今天 上午 有 课程
4项| 训练营 明天 才 开始

$\begin{array}{rl}& P([今天,开始,训练营,课程])\\ =& P(今天)P(开始)P(训练营)P(课程)\\ =& \frac{2}{19}\cdot \frac{1}{19}\cdot \frac{1}{19}\cdot \frac{1}{19}\\ =& \frac{2}{{19}^4}\end{array}$

Bigram

假设有语料库

5项| 今天 的 天气 很好 啊
5项| 我 很 想 出去 运动
5项| 但 今天 上午 想 上课
4项| 训练营 明天 才 开始

$$\begin{array}{cc}\begin{array}{r}P(上午|今天)=\frac{1}{2}\\ P(的|今天)=\frac{1}{2}\\ P(出去|想)=\frac{1}{2}\\ P(上课|想)=\frac{1}{2}\end{array}& \begin{array}{rl}& P([今天,上午,想,出去,运动])\\ =& P(今天)P(上午|今天)P(想|上午)P(出去|想)P(运动|出去)\\ =& \frac{2}{19}\cdot \frac{1}{2}\cdot 1\cdot \frac{1}{2}\cdot 1\\ =& \frac{1}{36}\end{array}\end{array}$$

模型评估

Perplexity

Perplexity=$2^{-(x)}$, $x$: average log likelihood

则perplexity越小, 语言模型越好.

例子: 假设有训练好的Bigram

p(天气|今天)=0.01
p(今天)=0.002
p(很好|天气)=0.1
p(适合|很好)=0.01
p(出去|适合)=0.02
p(运动|出去)=0.1

则"今天 天气 很好 适合 出去 运动"的困惑度为

$$\begin{array}{rl}x& =\frac{\log 0.002\cdot \log 0.01\cdot \log 0.1\cdot \log 0.01\cdot \log 0.02\cdot \log 0.1}{6}\\ \text{perplexity}& =2^{-x}\end{array}$$

平滑

Add-one Smoothing

在平滑之前, 在单词$w_{i-1}$后出现单词$w_i$的概率是
$$P_{MLE}(w_i|w_{i-1})=\frac{c(w_i,w_{i-1})}{c(w_{i-1})}$$

加平滑之后,
$$P_{Add-1}(w_i|w_{i-1})=\frac{c(w_i,w_{i-1})+1}{c(w_{i-1})+V}$$

$V$是词典的大小. 因为$P(w_i)$可以有$V$种选择, 所以分母必须加$V$, 是的$P(\ast |w_{i-1})=1$

Add-K Smoothing

$$x{P}_{Add-1}(w_i|w_{i-1})=\frac{c(w_i,w_{i-1})+k}{c(w_{i-1})+kV}$$

如何选择最好的$k$?

1. $k=1,2,\dots ,100$
2. 优化(最小化)$\text{perplexity}=f(k)$

Interpolation

计算Trigram的概率时同时考虑Unigram, Bigram, Trigram出现的频次

$$\begin{array}{rl}p(w_n|w_{n-1},w_{n-2})& ={\lambda }_{1}p(w_n|w_{n-1},w_{n-2})\\ & +{\lambda }_{2}p(w_n|w_{n-1})\\ & +{\lambda }_{3}p(w_n)\end{array}$$

其中 ${\lambda }_1+{\lambda }_2+{\lambda }_3=1$

Good-Turning Smoothing

[视频不存在]