第十四篇：有概率的上下文无关语法Probabilistic Context-Free Grammar

最新推荐文章于 2023-06-09 15:48:50 发布
最新推荐文章于 2023-06-09 15:48:50 发布
阅读量595 收藏 1
点赞数 2
分类专栏： NLP 文章标签： 有概率的CFG CFG歧义性
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flying_1314/article/details/118053553
版权

 

目录

 

解析中的歧义

大纲

概率CFGs的基本Basics of Probabilistic CFGs (PCFGs)

使用 PCFG 随机生成

一棵树的可能性有多大？

PCFG parsing

CYK for PCFGs

概率 CYK：检索解析

算法

 Limitations of CFG

CFG 问题 1：较差的独立性假设

解决方案：父母条件

CFG 问题 2：缺乏词汇条件

协调歧义

解决方案：中心词词法化

中心词词法化

最后

解析中的歧义

• 上下文无关文法为语言分配层次结构
    ‣ 公式化为生成语言中的所有字符串
    ‣ 预测给定字符串的结构

• 产生歧义问题——哪个更好？
• 概率CFG！

大纲

• Basics of Probabilistic CFGs (PCFGs)
• PCFG parsing
• Limitations of CFG

概率CFGs的基本Basics of Probabilistic CFGs (PCFGs)

• 相同的符号集：
    ‣ 终结符：单词比如书籍
    ‣ 非终结符：NP 或 NN 等句法标签
• 相同的制作（规则）
‣ LHS 非终结符 → RHS 符号的有序列表

• 此外，存储每个产生式的概率，如下：

• 概率值表示有条件
    ‣ P(LHS → RHS)
    ‣ P(RHS | LHS)
• 因此他们：
    ‣ 必须为正值，介于 0 和 1 之间
    ‣ 必须为给定的 LHS 求和为 1

使用 PCFG 随机生成

几乎与 CFG 相同，但有一点不同：
1.以S开头，句号
2. 选择一个以 S 作为 LHS 的规则
‣ 根据P(RHS | LHS)随机选择一个RHS
例如，S → VP
‣ 应用此规则，例如，将 VP 替换 S
3. 对字符串中的每个非终结符重复步骤 2（此处为 VP）
4.当没有非终端剩余时停止
给我们一棵树，和以前一样，用一句话作为产出

一棵树的可能性有多大？

• 给定一棵树，我们可以计算它的概率
    ‣ 分解为每个产生式的概率

有对应的每个产生式的概率表，查表计算即可获得树的概率

PCFG parsing

• 在我们查看之前
    ‣ CYK
    ‣ 未加权文法 (CFG)
    ‣ 查找所有可能的树
• 但通常有 1000 个，许多完全是荒谬的
• 我们能解出最可能的树吗？

CYK for PCFGs

• CYK 查找一个句子的所有树； 我们想要最好的树
• 概率CYK 遵循与标准 CYK 类似的流程
• 将语法转换为乔姆斯基范式 (CNF)

‣ 其中 NP+NP 是新符号。

概率 CYK：检索解析

• 解析表右上角的 S 表示成功
• 保留指向最佳分析的反向指针
• 要获取解析，请按照每个匹配项的指针返回
• 通过删除新的非终结符从 CNF 转换回来

算法

 

 Limitations of CFG

CFG 问题 1：
较差的独立性假设

• 改写独立做出的决策，而捕捉全局结构通常需要相互依赖。
    • NP → DT NN [0.28]
    • NP → PRP [0.25]
    • 独立于树其余部分的规则的概率
    • 无法在 PCFG 概率中表示这种上下文差异

• NP → PRP 作为主语应该上升到 0.91
• NP → DT NN 作为宾语应该是 0.66
• 解决方案：添加一个条件来表示 NP 是主语还是宾语

解决方案：父母条件

• 通过将父亲节点符号合并到每个符号中，使非终结符更加明确

• NP^S 代表主语位置（左）
• NP^VP 表示宾语位置（右）

CFG 问题 2：
缺乏词汇条件

• 对树中的单词缺乏敏感性
• 介词短语 (PP) 附属歧义
    ‣ 工人将麻袋倒入垃圾箱 Worker dumped sacks into a bin

歧义在于，是要讲麻袋倒入垃圾箱，还是要去倒在垃圾箱中的麻袋，这是由介词短语所导致的

协调歧义

• dogs in houses and cats

歧义在于，句子是说：在房间里的狗 和 猫 还是说， 在房间和猫里的 狗

• 从语义上来说，狗比房子更适合和猫并列（狗不能在猫里面！）

解决方案：中心词词法化

• 用父节点符号记录中心词
    ‣ 成分中最显着的孩子，通常是 NP 中的名词，VP 中的动词等

 ‣ VP → VBD NP PP ：
    VP(dumped) → VBD(dumped) NP(sacks) PP(into)

中心词词法化

• 将主词纳入产生式规则中，以捕捉词之间最重要的联系
‣ 捕获短语中心词之间的相关性
‣ PP(into): VP(dumped) vs. NP(sacks)
• 语法符号库存大幅增加！
‣ 很多产生式规则过于具体，很少见
‣ 学习更多内容以避免稀疏问题（例如，零概率）

最后

• PCFG 被广泛使用，并且有高效的解析器可用。
‣ 柯林斯解析器、伯克利解析器、斯坦福解析器
‣ 都使用某种形式的词汇化
• 但还有其他语法形式
‣ 词法函数语法
‣ Head-driven(中心词驱动) 短语结构语法
‣ 下一篇：依赖语法！

好热~~~，哈哈，辛苦各位的观看，有问题评论区留言交流哦！

 

flying_1314
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CGMM:上下文图马尔可夫模型的官方存储库（ICML 2018-JMLR 2020）
05-11
上下文图马尔可夫模型（CGMM） 概括 CGMM是一种在图形中学习上下文的生成方法。 通过使用深入的体系结构和平稳性假设，它将信息传播和本地计算结合在一起。 在学习之前，该模型不会将图形预处理为固定的结构。 相反，它可与任何大小和形状的图形一起使用，同时保留可伸缩性。 实验表明，与昂贵的内核方法（该方法广泛分析整个输入结构以提取相关特征）相比，该模型效果很好。 相反，CGMM在构建体系结构时（逐渐地）提取更多抽象特征。 我们希望，对所提出框架的利用可以在许多方向上扩展，可以有助于广泛使用生成性和判别性方法来对结构化数据进行自适应处理。 这个回购 该库包含用于重现描述该方法的论文中报告的树/图分类实验的数据和脚本。 该研究软件按原样提供。 如果您碰巧使用或修改此代码，请记住引用基础文章： 2020年7月27日：JMLR接受论文！ 请参阅上面的参考。 2020年3月3日更新 感谢的
时间序列预测代码matlab-online-probabilistic-load-forecasting:在线概率负载预测
05-28
时间序列预测代码matlab 基于自适应在线学习（APLF）的概率负荷预测 该存储库包含基于自适应在线学习的论文概率负荷预测的代码。 我们使用本文中描述的实现细节。 方法的实现 APLF文件夹包含，a和a，其中包含执行该方法所需的所有Matlab脚本： APLF.m是主文件。 initialize.m函数可初始化模型参数。 projection.m函数以高斯密度函数的均值和标准偏差的形式获取负荷预测和概率负荷预测。 test.m函数可量化预测误差RMSE和MAPE。 update_model.m函数为每个新训练样本更新模型。 update_parameters.m函数更新模型参数。 数据 我们使用7个可公开获得的数据集，它们对应于具有不同大小的区域。 数据集为： 我们将数据保存在.mat文件中，该文件包含具有以下字段的结构： 每小时加载时间序列 温度时间序列 衡量负载的日期和小时或时间戳记 安装 git clone https://github.com/VeronicaAlvarez/online-probabilistic-load-forecasting 运行python代码： c
吉布斯采样matlab代码-Bayesian-Probabilistic-Matrix-Factorization:贝叶斯概率矩阵分解
05-28
吉布斯采样matlab代码
affective-probabilistic-reversal-learning-task:情感概率逆向学习任务
05-06
版本1.0： 认出 使用本作品或其任何部分时，请引用： Maris Vainre，Becky Gilbert和Marc Bennett（2021年）。 使用jsPsych的情感概率逆向学习任务。 版本1.0。 Github存储库。 描述 这是一项学习任务，其情感条件在任务之前。 任务叙述涉及一个虚构的足球联赛，要求参与者猜测比赛的获胜者（= 1次审判）。 请注意，IAPS图像未包含在存储库中。 大纲如下所示：
java-probabilistic-earley-parser：Ear概率Earley算法的有效Java实现，用于解析随机上下文无关文法（SCFG）
02-04
概率Earley解析器 这是一个用于将标记序列（如单词）解析为树结构以及特定序列生成该树结构的可能性的库。 这主要用于语言学目的，例如形态分析，语音识别和一般的信息提取。 它还发现了在计算生物学中的应用。 例如： 作为一名计算语言学家，您希望 代币 解析树 [我，想要，英国，食物] 作为计算生物学家，您希望（可以将其编码为树状结构） 代币 解析树 GGGC``UAUU``AGCU``CAGU UGGU``UAGA``GCGC``ACCC CUGA``UAAG``GGUG``AGGU CGCU``GAUU``CGAA``UUCA GCAU``AGCC``CA 作为一名认知科学家，您希
统计自然语言处理（概率上下文无关文法）
continueOo的博客
06-03 6566
什么是语法解析在自然语言中，句子可以分为主谓宾等表示。人们说话的方式（即使是在酒后的胡言乱语）也存在一些结构和规则。语言学中的语法分析的目标就是努力分离出这些语法结构。词语之间绝非是简单的顺序关系，它必须是描述词语如何相联系的。语法解析中有两个主要的问题： 1.句子语法在计算机中的表达与储存方式。 2.语法解析算法。对于第一个问题，最近50年间，最主要的方法就是为每个句子构造一个树结构。举例如下
自然语言处理总复习（七）—— 概率上下文无关文法
Victayria的博客
10-28 1950
自然语言处理总复习（七）—— 概率上下文无关文法一、背景介绍（一）问题提出（二）上下文无关文法（CFG）二、概率上下文无关文法（PCFG）（一）定义（二）符号定义（三）应用举例1. 举例2. 规则的概率估计Penn树库（四）PCFG的基本问题1. 给定一个语法，如何计算一个句子的概率？P(w1m∣G)P(w_{1m}|G)P(w1m​∣G)（1）相关定义（2）利用内部概率计算句子概率a）内部算法 —— 基于内部概率的动态规划算法b）内部算法 —— 举例（3）利用外部概率计算句子概率2. 已知语法，如何计算一
NLP 学习笔记 03 (Probabilistic Context-Free Grammars (PCFGs))
DarkScope从这里开始
03-26 6136
最近一周有些拖沓，静下来把第3,4周的笔记写了 这两周的主题都是PCFGs，不过从浅到深，逐层深化罢了，所以题目就用Probabilistic Context-Free Grammars (PCFGs)了 1.Introduction          ----------------------------------------------------------------------
概率上下文无关文法PCFG
白马负金羁
04-27 8272
面对CFG可能产生多种语法分析结果的问题，一个很重要的处理方法就是引入概率上下文无关文法（PCFGs，Probabilistic context-free grammars ），最初由Booth于1969年提出。对PCFG进行语法分析时，还会用到Probabilistic CKY 算法，它是在原始的CKY算法之上改进而来的，最初由 Ney 在1991年提出
【PCFGs】Probabilistic Context-Free Grammars
qq_26921849的博客
02-16 191
概率上下文无关文法 follow http://www.cs.columbia.edu/~mcollins/
7 从文本提取信息
dili8870的博客
08-31 250
一、信息提取 信息提取结构 import nltk def ie_proprocess(document): sentences = nltk.sent_tokenize(document)#句子分割器 sentences = [nltk.word_tokenize(sent) for sent in sentences]#分词器 sentences = [nlt...
刘坚 编译原理基础 学习笔记(2)语法分析
m0_48319749的博客
08-06 812
（1）上下文无关文法 定义：上下文无关文法是一个四元组G={N,T,P,S}，其中 N是非终结符的有限集合，这里默认为大写（比如“E”） T是终结符的有限集合，并且T和N交集为空。这里默认为小写（比如“id”） P是产生式的有限集合。产生式形如A->α，其中A在N中 S是非终结符，被称为文法的开始符号 举例：N={S，动词，名词}，T={羊,水,吃,草,喝}，开始符号S， ...
Stanford Parser学习入门(3)-标记
weixin_30304375的博客
04-29 405
以下是Stanford parser中的标记中文释义供参考。 probabilistic context-free grammar(PCFG) ROOT：要处理文本的语句IP：简单从句NP：名词短语VP：动词短语PU：断句符，通常是句号、问号、感叹号等标点符号LCP：方位词短语PP：介词短语CP：由‘的’构成的表示修饰性关系的短语DNP：由‘的’构成的表示...
Lecture 15 Probabilistic Context-Free Grammar
最新发布
Abner98414的博客
06-09 1189
Lecture 15 Probabilistic Context-Free Grammar。
pcfg 自然语言处理_NLP 学习笔记 03 (Probabilistic Context-Free Grammars (PCFGs))
weixin_39778668的博客
02-19 453
最近一周有些拖沓，静下来把第3,4周的笔记写了这两周的主题都是PCFGs，不过从浅到深，逐层深化罢了，所以题目就用Probabilistic Context-Free Grammars (PCFGs)了1.Introduction———————————————————————————-语法树： 这在编译原理课上就学过了，也就是用树的形式来表示语法，例如：———————————————————...
自然语言处理学习（一）:语言模型1.1-1.2
AbstractCodes的博客
08-21 475
这个是我在学习哥伦比亚大学Michael Collins教授的课程讲义做成的笔记，用工具截成的图片，不太清楚的，把网页整体放大就行了。如有错误，欢迎指出。 这个是教授的个人主页：http://www.cs.columbia.edu/~mcollins/
Probabilistic Context-Free Grammers(PCFGs)
渐渐遗忘的记忆
05-01 5292
一，上下文无关文法(CFGs) 1，基本定义 如下就是一个比较清楚的例子： 2，最左推导 例如： 一组最左推导正好可以很容易地表示成一棵句法解析树，即一组最左推导其实可以看成一棵句法解析树！ 假设上面的句法解析树为ttt，则yield(t)=yield(t)=yield(t)=the dog laughs，即这棵树表示的单词序列。...
Context-Free Grammar及形状规则集
qq_24505417的博客
06-13 724
Definition− A context-free grammar (CFG) consisting of a finite set of grammar rules is a quadruple(N, T, P, S)where Nis a set of non-terminal symbols. Tis a set of terminals whereN ∩ T = NULL. Pis a set of rules,P: N → (N ∪ T)*, i.e.,...
第二十一篇：伦理/道德Ethics
flying_1314的博客
06-20 6994
什么是伦理/道德？ 我们应该如何生活——苏格拉底 • 正确的做法是什么？ • 为什么？
probabilistic heat-map
04-01
A probabilistic heat-map is a graphical representation of the probability distribution of an event or variable in a particular area. It is a map that shows the probability of an event occurring at ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值