总结
在graphSAGE的基础上特别对文本做了改进。node为sentence,计算embedding的时候,在aggregate之前,新增了一步:用ernie对self node和neighbor node做emb(token emb, position emb, segment emb),然后再aggregate
细节
模型提出的背景:textGraph比赛,需要选出来最能解释该问题answer的explanation
graph-SAGE从邻居节点aggregate的方式都比较简单,sum/mean/max,center node和neighbor node没有直接的interaction。ernie-SAGE在aggregate之前,先用ernie对self-node和neighbor-node做emb,然后把emb的结果再aggregate
建图:用K
个candidate explanation sentences和1
个answer作为node,用lexical overlap
作为边。但是发现这样graph过于dense(node会连接很多不太相关的QA),改用pairwise binary classification system
,就是用pre-trained model对explanation与question+answer做相似度打分,然后把得分高的top-M个explanation连接起来
建图后,用ernie-SAGE做node classification