【ChatBot学习笔记】6.基于统计的句法分析树

6.基于统计的句法分析树

句法分析树有什么用？

1. 分析句子成分
2. 确定单词间的依存关系

简单来说，依存分析/句法分析是句子分析的方法论或者文字层面的分析；句法分析树是句法分析的实践，从数学/编程层面进行

构造句法分析树，最常用的是上下文无关法(PCFG)，这个方法有三个关键词：

• 终结符集合：就是所有的叶节点，不可再分的词，如名词、动词、量词
• 非终结符集合：所有非叶节点。递归定义：非终结符=终结符+非终结符，可再分，如动宾、主谓宾、整个句子
• 规则集：（非）终结符集对应的概率

一个解释性例子：

产生式：

Sent -> S V O
S -> 人 | 天
V -> 吃 | 下
O -> 雨 | 雪 | 饭 | 肉

SVO代表了主谓宾的组成形式，那就有最多2 * 2 * 4 = 16种组合，上下文无关法允许这些组合出现，也就是在生成阶段只考虑词性，不考虑词义

列举一些例子：{人吃饭、人吃肉、天下雨，天吃饭}

看到了吗，部分语义不畅的例子也被生成了

句法分析树的一个更简单的例子：

终结符集合：∑={我, 吃, 肉}

非终结符集合：N={S, VP, ……}

规则集：R={

NN->我 0.5

Vt->吃 1.0

NN->肉 0.5

VP->Vt NN 1.0

S->NN VP 1.0

}