论文浅尝 | 通过知识到文本的转换进行知识增强的常识问答

本文探讨了将知识转化为文本以增强常识问答的论文,发表于AAAI 2021。研究发现,将知识图谱转换为文本形式能有效提升问答系统的性能。模型包括知识检索、文本转换和阅读理解任务。实验表明,该方法在多种预训练模型上提高了CQA的准确性,接近人类表现。论文提出,MRC任务比常识问答简单,且文本建模可能优于图建模。
摘要由CSDN通过智能技术生成

ee8654d6d793a95a7bf209d3c271c901.png

笔记整理:陈卓,浙江大学在读博士,主要研究方向为低资源学习和知识图谱

论文链接:https://www.aaai.org/AAAI21Papers/AAAI-10252.BianN.pdf

发表会议:AAAI 2021

动机

文章提出了对于未来CQA(Commonsense QA)问题的三个见解,首先其对于文本应该是比较敏感的,需要对于不同的知识选择不同的文本,然后要能够利用上异构的知识信息,同时它要使用到具有丰富常识知识的语言模型。此外,本文提出了3个未来的发展方向,然后在文章里提出了4个见解和挑战:

1.基于GNN的网络,很难把这些所有的有效的外部知识给利用上。2.这些外部知识应该用一种比较简单的方法注入到不同的模型里面,并且这种方法不应该是一些模型特定的方法,所以作者就后面提出了把知识转化成文本的形式。3.知识主要是三元组的形式存在,但是问题和答案是文本的形式,这存在一种模式上的一个gap。4.一个知识库里面有很多个这样的三元组,但是往往只有数个是跟某一个问题相关,这是一种稀疏性问题。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
知识图谱transformer是一种基于图谱结构的编码器模型,用于学习和表示知识图谱中的关系。它采用了类似于普通transformer模型的框架,但在结构上有一些差异。通过引用可以看到,知识图谱transformer的框架图与普通transformer模型相似。然而,为了更好地利用图谱中的关系结构,解决了线性/层次约束的问题,作者提出了一种新的Graph Transformer编码器,如引用所述。这种编码器允许模型有效地利用图谱的结构信息,从而更好地学习和表示知识图谱中的关系。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/100190240)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [基于生成式预训练Transformer的跨媒体内容生成及知识图谱构建](https://blog.csdn.net/universsky2015/article/details/131468154)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值