句法分析
一,概述
任务:句法分析的任务就是识别句子的句法结构。
类型有:
- 短语结构分析
- 完全句法分析
- 局部句法分析
- 依存句法分析
二,短语结构分析
目标:实现高正确率、高鲁棒性、高速度的自动句法分析过程。
困难:自然语言中存在大量的复杂的结构歧义。
结构歧义中最常见的就是介词短语绑定歧义。
基本方法:
- 基于CFG规则的分析方法
- 线图分析法
- CYK算法
- …
- 基于PCFG的分析方法
1,线图分析法
三种策略:
- 自底向上
- 从上到下
- 从上到下和从下到上结合
自底向上的线图分析算法
2,CYK分析算法
三,概率上下文无关文法(PCFGs)
它也属于短语结构分析。
1,PCFG规则
形式: A → α , p A\rightarrow\alpha,p A→α,p
约束: ∑ α p ( A → α ) = 1 \sum_{\alpha}p(A\rightarrow \alpha)=1 ∑αp(A→α)=1
2,计算句法分析树概率的基本假设
- 位置不变性
- 上下文无关性
- 祖先无关性
四,PCFG的三个问题
- 给定句子 W = w 1 w 2 … w n W=w_1w_2…w_n W=w