大模型论文：通过上下文学习提升模型多样性

本文提出一种简单方法，通过上下文学习提高大型语言模型在生成常识推理任务中的多样性，同时保持生成质量。实验结果表明该方法在三个基准数据集上实现了质量与多样性的理想平衡，并可用于训练数据增强

生成常识推理 （GCR） 需要一个模型来使用常识性知识对情况进行推理，同时生成连贯的句子。尽管生成的句子的质量至关重要，但生成的多样性同样重要，因为它反映了模型使用一系列常识性知识事实的能力。大型语言模型 （LLM） 已经显示出通过上下文学习 （ICL） 提高各种任务的生成质量的能力，使用给定的示例，而无需任何微调。然而，LLM产出的多样性方面以前没有被系统地研究过。为了解决这个问题，我们提出了一种简单的方法，使LLM世代多样化，同时保持其质量。在3个基准GCR数据集上的实验结果表明，该方法在质量和多样性之间实现了理想的平衡。此外，我们提出的方法生成的句子可以用作训练数据，以提高现有常识生成器的多样性。


想要论文PDF可以找我拿