【论文摘要】A Pre-training Based Personalized Dialogue Generation Model with Persona-sparse Data

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正

戳我看论文原文

前置知识

1.大型预训练模型如GPT2的构造、原理、训练过程
2.Huggingface做的对大型预训练模型进行的fine-tune过程 戳我看论文

如果这两个知识你都有了解的话这篇论文就不难理解了。

论文背景：

\quad 1.为了让对话模型生成出更加human-like的回复，给模型以特定的性格背景等作为参考信息是必要的。
\quad 2.大型预训练模型比如GPT2和BERT由于使用了大量的语句做训练，它们的语言能力非常的强大，生成出的语句非常的流畅。虽然大型预训练模型并没有针对某一个领域进行训练，但是人们通过在预训练的基础上再在目标数据集上进行二次训练，得到的结果大多好过只用目标数据集训练的结果。
\quad 3.数据集PERSONA-CHAT是一个为了应对该任务而提出的一个数据集，数据集采用人工收集，在构造数据集时人们被要求按照给定的性格信息来进行模拟对话，由此造成参与者在短短的几句对话中包含了相当多的个人信息，论文称这种现象为"persona-dense"。

论文想要解决的问题：

\quad