【论文泛读】Few-Shot NLG with Pre-Trained Language Model

作者：Zhiyu Chen, Harini Eavani, Wenhu Chen, Yinyin Liu and William Yang Wang
小样本 预训练模型

摘要

问题
基于神经网络的自然语言生成（NLG）对数据量的需求特别大，因此在数据有限的情况下很难在实际应用中采用。
解决对策
在这项工作中作者提出了few-shot的自然语言生成方法：
模型体系结构的设计基于两个方面：

• 从输入数据中选择内容和通过语言建模来构造连贯的句子，这些句子可以从先验知识中获取。
• 通过200个跨多个领域的训练实例，在最强的 baseline 平均提高了8.0%以上的BLEU点。

参考文章