本文仅为个人对论文的一点理解,如果有不对的地方烦请指正
前置知识
1.大型预训练模型如GPT2的构造、原理、训练过程
2.Huggingface做的对大型预训练模型进行的fine-tune过程 戳我看论文
如果这两个知识你都有了解的话这篇论文就不难理解了。
论文背景:
\quad 1.为了让对话模型生成出更加human-like的回复,给模型以特定的性格背景等作为参考信息是必要的。
\quad 2.大型预训练模型比如GPT2和BERT由于使用了大量的语句做训练,它们的语言能力非常的强大,生成出的语句非常的流畅。虽然大型预训练模型并没有针对某一个领域进行训练,但是人们通过在预训练的基础上再在目标数据集上进行二次训练,得到的结果大多好过只用目标数据集训练的结果。
\quad 3.数据集PERSONA-CHAT是一个为了应对该任务而提出的一个数据集,数据集采用人工收集,在构造数据集时人们被要求按照给定的性格信息来进行模拟对话,由此造成参与者在短短的几句对话中包含了相当多的个人信息,论文称这种现象为"persona-dense"。
论文想要解决的问题:
\quad