【论文阅读】EMNLP2022 知识对话系统

【论文阅读】Eliciting Knowledge from Large Pre-Trained Models for Unsupervised Knowledge-Grounded Conversation | EMNLP 2022
文章链接

前言

直接在原始文本上进行学习的预训练语言模型近几年取得了重大进展，这类大模型能否作为数据库用于下游任务呢？本文在无监督知识对话上探究了上述问题。
没太搞明白这篇文章的贡献在哪里，从知识的生成方法来看用的是前人的模型。可能是结合知识回答问题，解决事实幻觉（Hallucination）这里的贡献？有时间了再看一下。

Method

用的什么模型

给定对话历史，生成相关知识。用了两种微调方法，分别是传统的Fine-Tuning和Prefix-Tuning。后者可以避免灾难性遗忘，或许对知识对话有帮助。
考虑了两类大模型，Pre-trained Language Models (PLMs) 和 Pre-trained Dialogue Models (PDMs)。本文从两类中各挑了一个代表性方法，分别是T5和DialoGPT。

评价模型生成知识的质量

人工评价，设定了很多标准。从对问题的理解、回答是否可验证、答案是否正确三方面打分。

Noisy Training

To do

实验