知识对话2021《Unsupervised Knowledge Selection for Dialogue Generation》论文解读

Unsupervised Knowledge Selection for Dialogue Generation

这篇论文是微信团队出的一篇，想解决的是没有最佳知识标签（无监督）情况下，对话模型怎么办？
具体的就是，1）怎么选出最佳知识2）选出最佳知识解码器怎么好好利用3）选出错误知识解码器怎么降低影响。
反思：核心技术点有distance supervision、知识蒸馏方面需要恶补一下。

模型架构图，画的有点…还是略过图看原文比较好

1.知识选择

Selection Query：将历史信息、历史知识、当前用户信息三者共同作为知识查询向量。每个部分都通过过gru编码得到。

Knowledge Selection：查询向量和每个候选知识做点乘计算相关度（和postKS一样）

损失函数就是交叉熵。