接下来两周讲的是Parsing tree。第三周先讲了“语义无关”的方法Pure PCFG,然后第四周根据Pure PCFG的缺点,提出了“语义相关”的方法Lexical PCFG。
注:PCFG = Probabilistic Context-Free Grammar
1. Parsing任务描述
输入:句子 S=x1,x2,x3,....,xn
输出:Parsing Tree
基础:Tagging Task(第二周讲的任务)- 首先给每一个词都打上上 pos(part-of-speech) tag,然后施加rules才能形成parsing tree。
2. Parsing Tree解决方案 - 理论
Parsing Tree实际上就是由一些规则组成的,构建Parsing Tree实际上就是找到总概率最大的一个rules集合,这个总概率也称为这棵Parsing Tree的概率。
(1) Parsing Tree的概率 == 组成这个树的各rules的概率乘积
(2) 当一个句子出现多于一棵Parsing Tree的时候,选择概率最大的那棵树
2.1 模型搭建
于是,我们的模型搭建如下:
其中,
t
就是最终的parsing tree,
2.2 参数估计
于是,这个模型的唯一参数就是 q(ri) ,根据大数定理,在数据集足够大的情况下,概率可以近似成频率。于是这个参数可以从训练集中统计得到:
比如说,在训练集中,规则”VP → Vt NP”一共出现了105次,”VP”一共出现了1000次,那么:
3. Parsing Tree解决方案 - 实现
实现步骤:
1. 从训练集中,将所有的参数统计到;
2. 遍历所有的可能的Parsing Tree,选择概率最大的那棵;
3. 输出这棵Parsing Tree
第1和3步是显而易见的,难就难在第2步,如果穷举整个空间,计算量将十分巨大,一般解决穷举困境的好方法就是“动态规划 (Dynamic Programming)” [这个我最最讨厌的算法,哪哪儿都有它……]
整个动态规划的过程如下所示:
动态规划实现的算法叫做“CKY”算法:
还有一种叫做“inside”算法,与CKY算法不同之处在于,CKY的输出是 argmaxP(t) ,而inside算法的输出为 ∑t∈(S)P(t) ,但两者的本质是一样的。(还有疑问的)