ernieSAGE:PGL at TextGraphs 2020 Shared Task: Explanation Regeneration using Language and Graph Lear

文章目录

总结

在graphSAGE的基础上特别对文本做了改进。node为sentence,计算embedding的时候,在aggregate之前,新增了一步:用ernie对self node和neighbor node做emb(token emb, position emb, segment emb),然后再aggregate

细节

模型提出的背景:textGraph比赛,需要选出来最能解释该问题answer的explanation

graph-SAGE从邻居节点aggregate的方式都比较简单,sum/mean/max,center node和neighbor node没有直接的interaction。ernie-SAGE在aggregate之前,先用ernie对self-node和neighbor-node做emb,然后把emb的结果再aggregate

建图:用K个candidate explanation sentences和1个answer作为node,用lexical overlap作为边。但是发现这样graph过于dense(node会连接很多不太相关的QA),改用pairwise binary classification system,就是用pre-trained model对explanation与question+answer做相似度打分,然后把得分高的top-M个explanation连接起来

建图后,用ernie-SAGE做node classification

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值