论文:EMNLP2021-End-to-End Entity Resolution and Question Answering Using Differentiable Knowledge Grap

何为实体解析(entity resolution):entity resolution component identifies entities mentioned in the question, and a semantic parsing component produces a structured representation of the question
何为可微知识图谱:可微知识图谱中的三元组是用tensor形式表示的。可微知识图将事实存储在张量中,并使对事实的查询执行可微。

总结

看起来这篇文章,做的似乎并不是特别好,效果性能提升不太大。对比实验中,有一个KGQA-adapter的实验,肯能会有点意思。

论文核心

端到端的知识图谱问答中的实体匹配问题,论文的卖点是:不需要大量的有标注数据;可以快速迁移到新的领域。—————直白点,就是不需要question中的entity标注了。
模型的输入是:question text and answer entities。

论文模型

通过两个模块:span detection在所有可能的span中查询实体;entity resolution——???
inference module——从解析的实体中,找到问题相关的entity。

question的编码是:Roberta.

在这里插入图片描述

一、 KG可微

在多跳关系中,t-1个跳级中,关系为r_t,计算实体向量表示为:
Ms_subject的 index matrix
Mp表示relation index

在这里插入图片描述

二、 多跳推理

CLS的embedding表示question ——h_q。
第t个hop的关系的vector表示,采用层次解码的方式,
r_t=softmax(W_inf[h_q|r_(t-1),…r_(1))*

第t个hop的实体表示为:xt=follow(x_(t-1),r_t)
文中设定了hop的最大数量,采用注意力机制,组合(加权求和)answer中的entity,得到最终的answer entity表示。

三、 实体解析—找到实体表示中的第一个:x0—估计问题中最有可能的span

估计问题中所有可能的span是entity的概率,概率计算公式为:
sij为分值
q_k为question 中的第k个token的embedding
w_s为learnable matric

在这里插入图片描述

如果存在overlappIng的candicate,则选择longer one.
每个entity的表示,通过KG得到。具体如下:找到关于该entity的相关triple,take average feature作为entity的表示。

在这里插入图片描述
entity embedding是由span 和other candidate的likehood计算得到:
sij是span_ij是entity的概率。
zij是考虑candidate entity之后得到的概率。

在之后,重新排列了所有的span。

在这里插入图片描述

四、 训练过程

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YingJingh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值