PCFGs:Probabilistic Context-Free Grammars
Lexicalized PCFGs:Lexicalized Probabilistic Context-Free Grammars
1、PCFGs的缺点:
1)对词汇信息不敏感:句法树只和POS有关,和句子中的单词无关;无法在使用相同规则的句法树中择优;
2)对结构偏好不敏感:有些结构更倾向于就近结合。如(president (of ((a company) in Africa))),in Africa倾向于和a company结合,而非和president结合
2、树库词汇化:
词汇化之后
NP中的词汇化规则:
如果规则右侧含有NN,NNS,或NNP,则选择最右的NN,NNS,或NNP;
否则,如果规则中含有NP,则选择最左NP;
否则,如果规则中含有JJ,则选择最右JJ;
否则,如果规则中含有CD,则选择最右CD;
否则,选择最右的孩子。
VP中的词汇化规则:
如果规则右侧含有Vi或Vt,则选择最左的Vi或Vt;
否则,如果规则中含有VP,则选择最左VP; 否则,选择最左的孩子
3、Lexicalized PCFGs中的参数估计:
,head在最左
,head在最右
h是head的简写,m是modifier的简写
例子:
定义符号如下:
规则的概率为
等价于
而
则
平滑后:
最终可得:
平滑之后使模型更具健壮,具有鲁棒性(robust)。
4、解码:
CKY算法解码,复杂度比PCFG要高。
PCFGs:,CKY解码
Lexicalized-PCFGs:,CKY解码
Ulabeled Dependency Parsing:,动态规划(Jason Eisner)