《Speech and Language Processing》读书笔记——语法规则及其解析

《Speech and Language Processing》读书笔记——语法规则及其解析

1.摘要

本章主要介绍了：

• PCFG(概率上下文无关语法)
• probabilistic CKY(基于概率上下文无关语法的CKY算法)
• PCFG存在的问题
• PCFG的改进
• Probabilistic lexicalized CFGs(词汇化上下文无关语法)
• 语法剖析树的评价标准

2.PCFG

其基本原理就是，结合上下文无关文法（CFG）中最左派生规则(left-most derivations)和不同的Rules概率，计算所有可能的树结构的概率，取最大值对应的树作为该句子的句法分析结果。
对于 PCFG 中的 CFG 部分, 一般是由领域相关的专家给出的, 例如英语专家规定英语的 CFG. 而PCFG 中的 p 是从语料中统计而来. 运用最大似然估计, 可以有:
　　　$$P(X->Y)=$$