PCFG句法分析之CYK算法

最新推荐文章于 2023-11-16 21:24:08 发布

SR+

最新推荐文章于 2023-11-16 21:24:08 发布

阅读量2.3k

点赞数 2

本文链接：https://blog.csdn.net/qq_42991073/article/details/108998033

版权

CYK算法

原来使用堆栈和线图的浪费空间，还比较慢。那我们肯定想办法优化啊。感谢John Cocke, Daniel Younger and Tadao Kasami三位大神设计出来的CYK算法！！！

其实说白了，就是动态规划。
由于我们的所有产生式要么就是 $A\rightarrow BC$ 要么就是 $A\rightarrow\alpha$ ，并且某一个单词只能作为一颗CFG产生树的一个叶子节点而存在（这块其实就是之后CYK算法的精髓）

伪代码

# 输入：带分析的词序列words和PCFG规则集R
# 输出：最有可能的句法结构树
def Probabilistic_CYK(word, R):    
for j in range(1, len(words)):        
	for all in {A | A -> words[i] in R}:            
		table[j-1, j, A] = P(A -> word[i])        
	for i in range(j-2, 0):            
		for k in range(i+1, j-1):
			# 下面一步是精髓，为什么是[i,k]和[k,j]的乘积？上面已经提示过答案了
			for all in {A | A -> BC in R, and table[i, k, B] > 0 and table[j, k, C] > 0}:                    
				if table[i, j, A] < P(A -> BC)*table[i, k, B]*table[j, k, C]:                        
					table[i, j, A] < P(A -> BC)*table[i, k, B]*table[j, k, C]                        
					back_trace[i, j, A] = {k, B, C}    
return BUILD_TREE

我们使用上课的时候老师讲的例子：
在这里插入图片描述

在这里插入图片描述
图中，我们可以发现，根据CYK算法，我们先填充 $[j - 1, j]$ 位置上的概率（我们一定能知到这个位置上的概率，因为产生式 $A\rightarrow\alpha$ ），然后我们对于表中的第 $j$ 列，从 $[j - 2, j]$ 一直计算到 $[0, j]$ ，我们记 $i=j-2\ to\ 0$ 每一个 $[i, j]$ 我们都是使用 $[i, k]$ 和 $[k, j]$ 来计算（这里面就会用到每个单词只能作为一个叶子节点的性质了）。
在这里插入图片描述