论文浅尝 | 基于事理图谱的脚本事件预测

论文笔记整理:邱圣广,南京大学硕士,研究方向为自然语言处理。


链接:https://www.ijcai.org/proceedings/2018/0584.pdf

 

绪论

1.  脚本事件预测

脚本事件预测这个任务最早是由Chambers andJurafsky于2008年提出来的,要求给定一个事件的上下文 (context),需要从候选列表中选出接下来最可能要发生的事件,如下图所示:

这是在餐馆场景下发生的一系列事件,根据已经发生的事件,5个候选事件中下一个最可能发生的事件就是离开餐馆(leave)。

2.  亮点

现有的关于脚本事件预测的方法主要是基于事件对和事件链的,但是会存在以下缺陷,如下图所示:

给定上下文:enter,order,serve,现在要从talk和eat这两个候选事件中选出下一个最可能发生的事件。在基于事件对和事件链的方法中,如(b)所示,在训练的时候,会发现(serve,talk)一起出现的频率要高于(serve,eat),因此在预测的时候选择talk的概率会更高;而在基于事件图结构(即事理图谱)的方法中,如(c)所示,(order,serve,eat)构成了一个强联通分量,这暗示了eat更可能是正确答案。

3.  论文贡献

(1) 第一个在脚本事件预测这个任务上提出基于图结构的方法

(2) 提出一个大规模图神经网络(Scaled Graph Neural Network),从而可以对大规模稠密有向图中的事件关系进行建模,进而学习出更好的事件表示。

模型

1.  事理图谱(NEEG)的构建

(1)  从语料库中抽取事件链

从语料库中抽出所有事件链:, 其中 

  • 2
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
知识图谱transformer是一种基于图谱结构的编码器模型,用于学习和表示知识图谱中的关系。它采用了类似于普通transformer模型的框架,但在结构上有一些差异。通过引用可以看到,知识图谱transformer的框架图与普通transformer模型相似。然而,为了更好地利用图谱中的关系结构,解决了线性/层次约束的问题,作者提出了一种新的Graph Transformer编码器,如引用所述。这种编码器允许模型有效地利用图谱的结构信息,从而更好地学习和表示知识图谱中的关系。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/100190240)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [基于生成式预训练Transformer的跨媒体内容生成及知识图谱构建](https://blog.csdn.net/universsky2015/article/details/131468154)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值