Group-wise Contrastive Learning for Neural Dialogue Generation 阅读笔记

摘要

为解决生成多样性低的问题

思想

-

找到正向和负向group的context和response,设计loss

做法

首先有
-

其中pn是baseline模型,pm是target模型

其中c是输入文本 r是回复文本,

构造loss:
-

最大化正向回复,最小化负向回复

这个loss即刻画 相对baseline模型的生成多样性 或 分布distinctiveness

正向回复和负向回复的采样,使用了BM25+匹配模型

©️2020 CSDN 皮肤主题: 创作都市 设计师:CSDN官方博客 返回首页