何为实体解析(entity resolution):entity resolution component identifies entities mentioned in the question, and a semantic parsing component produces a structured representation of the question
何为可微知识图谱:可微知识图谱中的三元组是用tensor形式表示的。可微知识图将事实存储在张量中,并使对事实的查询执行可微。
总结
看起来这篇文章,做的似乎并不是特别好,效果性能提升不太大。对比实验中,有一个KGQA-adapter的实验,肯能会有点意思。
论文核心
端到端的知识图谱问答中的实体匹配问题,论文的卖点是:不需要大量的有标注数据;可以快速迁移到新的领域。—————直白点,就是不需要question中的entity标注了。
模型的输入是:question text and answer entities。
论文模型
通过两个模块:span detection在所有可能的span中查询实体;entity resolution——???
inference module——从解析的实体中,找到问题相关的entity。
question的编码是:Roberta.
一、 KG可微
在多跳关系中,t-1个跳级中,关系为r_t,计算实体向量表示为:
Ms_subject的 index matrix
Mp表示relation index
二、 多跳推理
CLS的embedding表示question ——h_q。
第t个hop的关系的vector表示,采用层次解码的方式,
r_t=softmax(W_inf[h_q|r_(t-1),…r_(1))*
第t个hop的实体表示为:xt=follow(x_(t-1),r_t)
文中设定了hop的最大数量,采用注意力机制,组合(加权求和)answer中的entity,得到最终的answer entity表示。
三、 实体解析—找到实体表示中的第一个:x0—估计问题中最有可能的span
估计问题中所有可能的span是entity的概率,概率计算公式为:
sij为分值
q_k为question 中的第k个token的embedding
w_s为learnable matric
如果存在overlappIng的candicate,则选择longer one.
每个entity的表示,通过KG得到。具体如下:找到关于该entity的相关triple,take average feature作为entity的表示。
entity embedding是由span 和other candidate的likehood计算得到:
sij是span_ij是entity的概率。
zij是考虑candidate entity之后得到的概率。
在之后,重新排列了所有的span。