6.基于统计的句法分析树
句法分析树有什么用?
- 分析句子成分
- 确定单词间的依存关系
简单来说,依存分析/句法分析是句子分析的方法论或者文字层面的分析;句法分析树是句法分析的实践,从数学/编程层面进行
构造句法分析树,最常用的是上下文无关法(PCFG),这个方法有三个关键词:
- 终结符集合:就是所有的叶节点,不可再分的词,如名词、动词、量词
- 非终结符集合:所有非叶节点。递归定义:非终结符=终结符+非终结符,可再分,如动宾、主谓宾、整个句子
- 规则集:(非)终结符集对应的概率
一个解释性例子:
产生式:
Sent -> S V O
S -> 人 | 天
V -> 吃 | 下
O -> 雨 | 雪 | 饭 | 肉
SVO代表了主谓宾的组成形式,那就有最多2 * 2 * 4 = 16种组合,上下文无关法允许这些组合出现,也就是在生成阶段只考虑词性,不考虑词义
列举一些例子:{人吃饭、人吃肉、天下雨,天吃饭}
看到了吗,部分语义不畅的例子也被生成了
句法分析树的一个更简单的例子:
终结符集合:∑={我, 吃, 肉}
非终结符集合:N={S, VP, ……}
规则集:R={
NN->我 0.5
Vt->吃 1.0
NN->肉 0.5
VP->Vt NN 1.0
S->NN VP 1.0
}