自然语言处理学习笔记-lecture5-语言模型01

基本概念

大规模语料库的出现为自然语言统计处理方法的实现提供了可能，一个句子$s=w_1{w}_2\cdots w_m$的先验概率如下：
$$\begin{array}{rl}p(s)& =p(w_1)\times p(w_2|w_1)\times p(w_3|w_1{w}_2)\times \cdots \times p(w_m|w_1\cdots w_{m-1})\\ & =\prod _{i=1}^{m}p(w_i|w_1\cdots w_{i-1})\end{array}$$
上面的式子就是语言模型，$w_i$可以是字、词、短语或词类等，称为统计基元，通常以词代之，$w_i$的概率由$w_1,\cdots ,w_{i-1}$决定，这个称为$w_i$的历史，随着历史基元数量的增加，不同的历史基元数量按照指数级增长，如果共有$L$个不同的基元，例如词汇表，那么对于第$i$个统计基元有$L^{i-1}$种不同的历史情况，为了解决这个问题，将$w_1{w}_2\cdots w_{i-1}$映射到等价类$S(w_1{w}_2\cdots w_{i-1})$，使等价类的数目远远小于原来不同历史基元的数目，有：
$$p(w_i|w_1,\cdots ,w_{i-1})=p(w_i|S(w_1,\cdots ,w_{i-1}))$$
将两个历史映射到同一个等价类的条件是当且仅当这两个历史中的最近的$n-1$个基元相同，即对于$H_1:w_1{w}_2\cdots w_{i-n+1}{w}_{i-n+2}\cdots w_{i-1}{w}_i\cdots ,H_2:v_1{v}_2\cdots v_{k-n+1}{v}_{k-n+2}\cdots v_{k-1}{v}_k\cdots$，要使得$S(w_1,w_2,\cdots ,w_i)=S(v_1,v_2,\cdots ,v_k)$，需要满足：
$$H_1:(w_{i-n+1},\cdots ,w_i)=H_2:(v_{k-n+1},\cdots ,v_k)$$
上述的这种情况称为$n$元文法/语法模型(n-gram model):

• n = 1：处于第$i$位上的基元$w_i$独立于历史，一元文法也被写为uni-gram,monogram
• n = 2：2-gram,bi-gram一阶马尔可夫链
• n = 3：3-gram,tri-gram二阶马尔科夫链

为了保证条件概率再$i=1$的时候有意义，同时为了保证句子内所有字符串的概率和为1，即${\sum }_{s}p(s)=1$，可以在句子首尾增加两个标志：$<BOS>w_1{w}_2\cdots w_m<EOS>$，不失一般性，对于$n>2$的n-gram，$p(s)$可以分解为：
$$p(s)=\prod _{i=1}^{m+1}p(w_i|w_{i-n+1}^{i-1})$$
其中$w_i^j$表示词序列$w_i\cdots w_j$，$w_{i-n+1}$从$w_0$开始，$w_0$表示$<BOS>$，$w_{m+1}$表示$<EOS>$，例如基于2元文法，$<BOS>Johnreadabook<EOS>$的概率表示：
$$p(Johnreadabook)=p(John|<BOS>)\times p(read|John)\times p(a|read)\times p(book|a)\times p(<EOS>|book)$$

应用1：音字转换问题

给定拼音串得到汉字串，根据下列推理
$$\begin{array}{rl}\hat{C}String& =\underset{CString}{argmax}p(CString|Pinyin)\\ & =\underset{CString}{argmax}\frac{p(Pinyin|CString)\times p(CString)}{p(Pinyin)}\\ & =\underset{CString}{argmax}p(Pinyin|CString)\times p(CString)\\ & =\underset{CString}{argmax}p(CString)\end{array}$$
也就是求所有可能的句子对应的概率

汉字分词问题

给定汉字串得到得到分词后的汉字串，例如(他|是|研究|生物|的)
$$\begin{array}{rl}\hat{S}eg& =\underset{Seg}{argmax}p(Seg|Text)\\ & =\underset{Seg}{argmax}\frac{p(Text|Seg)\times p(Seg)}{p(Text)}\\ & =\underset{Seg}{argmax}p(Text|Seg)\times p(Seg)\\ & =\underset{Seg}{argmax}p(Seg)\end{array}$$
也就是求解不同分词情况下的概率，此时统计基元为词

参数估计

对于n-gram，参数$p(w_i|w_{i-n+1}^{i-1})$可由最大似然估计得到：
$$p(w_i|w_{i-n+1}^{i-1})=f(w_i|w_{i-n+1}^{i-1})=\frac{c(w_{i-n+1}^i)}{{\sum }_{w_i}c(w_{i-n+1}^i)}$$

但是会出现由于数据匮乏(稀疏)(sparse data)引起零概率问题，需要数据平滑(data smoothing)

数据平滑

调整最大似然估计的概率值，使零概率增值，使非零概率下调，消除零概率，目的是使测试样本的语言模型困惑度越小越好，困惑度的定义如下：对于一个平滑的n-gram，其概率为$p(w_i|w_{i-n+1}^{i-1})$，可以计算句子的概率$p(s)={\prod }_{i=1}^{m+1}p(w_i|w_{i-n+1}^{i-1})$，假设测试语料$T$由$l_T$个句子构成$(t_1,\cdots ,t_{l_T})$，则整个测试集的概率为$p(T)={\prod }_{i=1}^{l_T}p(t_i)$，模型$p(w_i|w_{i-n+1}^{i-1})$对于测试语料的交叉熵：
$$H_p(T)=-\frac{1}{W_T}{\log }_{2}p(T)$$
其中$W_T$是测试样本$T$的词数，模型$p$的困惑度$P{P}_p(T)$定义为：
$$P{P}_p(T)=2^{H_p(T)}$$

加1法additive smoothing

每种情况出现的次数加1，以2-gram为例：
$$\begin{array}{rl}p(w_i|w_{i-1})& =\frac{1+c(w_{i-1}{w}_i)}{{\sum }_{w_i}[1+c(w_{i-1}{w}_i)]}\\ & =\frac{1+c(w_{i-1}{w}_i)}{|V|+{\sum }_{w_i}c(w_{i-1}{w}_i)}\end{array}$$
$V$为词汇量，即全部可能的基元数

减值法/折扣法discounting

修改训练样本中事件的实际计数，使样本中实际出现的不同事件的概率之和小于1，剩余的概率量分配给未见概率

Good-Turing估计

假设 $N$ 是原来训练样本数据的大小， $n_r$ 是在样本 中正好出现 $r$ 次的事件的数目(此处事件为 n-gram)， 即出现 $1$ 次的n-gram有 $n_1$个，出现 $2$ 次的 n-gram 有 $n_2$个, …，出现 $r$ 次的有 $n_r$ 个，那么$N={\sum }_{r=1}^{\infty }{n}_{r}r$，由于$N={\sum }_{r=0}^{\infty }{n}_r{r}^{\ast }={\sum }_{r=0}^{\infty }(r+1)n_{r+1}$，所以$r^{\ast }=(r+1)\frac{n_{r+1}}{n_r}$，那么Good-Turing估计在样本中出现$r$次的时间的概率为：
$$p_r=\frac{r^{\ast }}{N}$$
实际应用中，一般直接用$n_{r+1}$代替$E(n_{r+1})$，$n_r$代替$E(n_r)$，这样原训练样本中所有时间的概率之和为：
$$\sum _{r>0}{n}_r\times p_r=1-\frac{n_1}{N}<1$$
因此，有$\frac{n_1}{N}$的剩余的概率量可以均分给所有未见事件$r=0$，Good-Turing估计适用于大词汇集产生的符合多项式分布的大量的观察数据，计算步骤如下：

• 统计$n_r$，计算$r^{\ast }$
• 计算概率$p_r$
• 得到$p_0=\frac{n_1}{N}$
• 计算没有出现的情况的次数$n_0=|V_T|-{\sum }_{r>0}{n}_r$
• 得到那些零概率的概率$\frac{p_0}{n_0}$，例如在2-gram中就是那些在历史基元确定的情况下当前基元没有发生的那些情况
• 此时那些概率和不为0，最后一步为归一化
  $${\hat{p}}_r=\frac{p_r}{{\sum }_r{p}_r}$$

Back-off后备/后退方法

当某一事件在样本中出现的频率大于阈值$K$(通常取K为0或1)时，运用最大似然估计的减值法来估计其概率，否则使用低阶的，即(n-1)gram的概率替代n-gram概率，这种代替需要受归一化因子$\alpha$的作用，也就是对于每个计数$r>0$的n元文法的出现次数减值，把因减值而节省下来的剩余概率根据低阶的(n-1)gram分配给未见事件，下面以二元文法为例，对于一个出现次数为$r=c(w_{i-1}^i)$的2元语法$w_{i-1}^i$，使用如下公式计算修正的概率：
$$p_{katz}(w_i|w_{i-1})=\{\begin{array}{ll}{d}_r\frac{C(w_{i-1}{w}_i)}{C(w_{i-1})}& C(w_{i-1}{w}_i)=r>0\\ \alpha (w_{i-1})p_{ML}(w_i)& C(w_{i-1}{w}_i)=0\end{array}$$
其中$p_{ML}(w_i)$表示$w_i$的最大似然估计概率，这个公式的意思是所有具有非零计数$r$的2元语法都根据折扣率$d_r(0<d_r<1)$被减值，折扣率近似等于$\frac{r^{\ast }}{r}$，减值由Good-Turing估计方法预测，下面是$\alpha (w_{i-1})$的求法：
$$\begin{gathered} \sum _{w_{i:r=0}}\alpha (w_{i-1})p_{ML}(w_i)+\sum _{w_{i:r>0}}{p}_{katz(w_i|w_{i-1})}=1 \\ \alpha (w_{i-1})=\frac{1-{\sum }_{w_{i:r>0}}{p}_{katz(w_i|w_{i-1})}}{{\sum }_{w_{i:r=0}}{p}_{ML}(w_i)} \end{gathered}$$

绝对减值法Absolute discounting

从每个计数$r$中减去同样的量，剩余的概率量由未见事件平分，设$R$为所有可能事件的数目(当事件为n-gram时，如果统计基元为词，且词汇集的大小为$L$，则$R=L^n$)，那么，样本出现了$r$次的事件的概率可以由如下公式估计：
$$p_r=\{\begin{array}{ll}\frac{r-b}{N}& r>0\\ \frac{b(R-n_0)}{N{n}_0}& r=0\end{array}$$
其中$n_0$为样本中未出现的事件的数目，$b$为减去的常量，$b\le 1,b(R-n_0)/N$是由于减值而产生的概率量，$N$为样本中出现了$r$次的事件总次数：$n_r\times r$，其中$b$为自由参数，可以通过留存数据的方法求得$b$的上限为：
$$b\le \frac{n_1}{n_1+2n_2}<1$$

线性减值法

从每个计数$r$中减去与该计数成正比的量，剩余概率量$\alpha$被$n_0$个未见事件均分
$$p_r=\{\begin{array}{ll}\frac{(1-\alpha )r}{N}& r>0\\ \frac{\alpha }{n_0}& r=0\end{array}$$
自由参数$\alpha$的优化值为$\frac{n_1}{N}$

四种减值法的比较

• Good-Turing 法:对非0事件按公式削减出现的次
  数，节留出来的概率均分给0概率事件。
• Katz 后退法:对非0事件按Good-Turing法计算减
  值，节留出来的概率按低阶分布分给0概率事件。
• 绝对减值法:对非0事件无条件削减某一固定的出
  现次数值，节留出来的概率均分给0概率事件。
• 线性减值法:对非0事件根据出现次数按比例削减
  次数值，节留出来的概率均分给0概率事件。

删除插值法Deleted interpolation

从低阶语法估计高阶语法，即当3-gram的值不能从训练数据中准确估计时，用2-gram来替代，同样，当2-gram的值不能从训练语料中准确估计时，可以用1-gram的值来代替，插值公式：
$$p(w_3|w_1{w}_2)={\lambda }_3{p}^{\prime }(w_3|w_1{w}_2)+{\lambda }_2{p}^{\prime }(w_3|w_2)+{\lambda }_1{p}^{\prime }(w_3)$$
其中${\lambda }_1+{\lambda }_2+{\lambda }_3=1$，${\lambda }_1,{\lambda }_2,{\lambda }_3$的确定：将训练语料分为两部分，即从原始语料中删除一部分作为留存数据，第一部分用于估计$p^{\prime }(w_3|w_1{w}_2)+p^{\prime }(w_3|w_2)+p^{\prime }(w_3)$，第二部分用于计算${\lambda }_1,{\lambda }_2,{\lambda }_3$，使得语言模型对留存数据的困惑度最小