将 transformer 的 encoder-decoder 改为 两个encoder+一个decoder,具体为dialog encoder和knowledge encoder,相加, 通过controller 来学习knowledge部分和 dialog 部分的权重。
整体学习过程分为三阶段,第一阶段将两个 encoder 分别单独学习,第二阶段通过远程监督构造数据集,将两个 encoder 联合学习。通过检索和 dialogue 最相似的 document 构造弱监督伪知识数据集。
将 transformer 的 encoder-decoder 改为 两个encoder+一个decoder,具体为dialog encoder和knowledge encoder,相加, 通过controller 来学习knowledge部分和 dialog 部分的权重。
整体学习过程分为三阶段,第一阶段将两个 encoder 分别单独学习,第二阶段通过远程监督构造数据集,将两个 encoder 联合学习。通过检索和 dialogue 最相似的 document 构造弱监督伪知识数据集。