Coursera自然语言处理 Week3 笔记

接下来两周讲的是Parsing tree。第三周先讲了“语义无关”的方法Pure PCFG，然后第四周根据Pure PCFG的缺点，提出了“语义相关”的方法Lexical PCFG。

注：PCFG = Probabilistic Context-Free Grammar

1. Parsing任务描述

输入：句子$S={x_1,x_2,x_3,....,x_n}$

输出：Parsing Tree

基础：Tagging Task（第二周讲的任务）- 首先给每一个词都打上上 pos(part-of-speech) tag，然后施加rules才能形成parsing tree。

2. Parsing Tree解决方案 - 理论

Parsing Tree实际上就是由一些规则组成的，构建Parsing Tree实际上就是找到总概率最大的一个rules集合，这个总概率也称为这棵Parsing Tree的概率。

(1) Parsing Tree的概率 == 组成这个树的各rules的概率乘积

(2) 当一个句子出现多于一棵Parsing Tree的时候，选择概率最大的那棵树

2.1 模型搭建

于是，我们的模型搭建如下：

$$t = \mathop \arg \max_{t \in \mathcal{T}(S)} P(t)$$

$$P(t) = \prod_{i}q(r_i)$$

其中，$t$就是最终的parsing tree，$\mathcal{T}(S)$是句子$S$所有可能的parsing tree集合，$P(t)$就是当前选定的parsing tree $t$的概率，$r_i$是构成parsing tree $t$的第$i$条规则，$q(r_i)$就是这条规则在出现的概率。

2.2 参数估计

于是，这个模型的唯一参数就是$q(r_i)$，根据大数定理，在数据集足够大的情况下，概率可以近似成频率。于是这个参数可以从训练集中统计得到：

$$r_i: X \to Y \ Z$$

$$q(r_i)=q( X \to Y \ Z)=\frac{Count( X \to Y \ Z)}{Count(X)}$$

比如说，在训练集中，规则”VP $\to$ Vt NP”一共出现了105次，”VP”一共出现了1000次，那么：

$$q(VP \to Vt \ NP) = \frac{Count(VP \to Vt \ NP)}{Count(VP)}=\frac{105}{1000}$$

3. Parsing Tree解决方案 - 实现

实现步骤：
1. 从训练集中，将所有的参数统计到；
2. 遍历所有的可能的Parsing Tree，选择概率最大的那棵;
3. 输出这棵Parsing Tree

第1和3步是显而易见的，难就难在第2步，如果穷举整个空间，计算量将十分巨大，一般解决穷举困境的好方法就是“动态规划 (Dynamic Programming)” [这个我最最讨厌的算法，哪哪儿都有它……]

整个动态规划的过程如下所示：

动态规划实现的算法叫做“CKY”算法：

还有一种叫做“inside”算法，与CKY算法不同之处在于，CKY的输出是$\mathop \arg\max P(t)$，而inside算法的输出为$\sum_{t \in \mathcal{T}(S)} P(t)$，但两者的本质是一样的。（还有疑问的）