【论文阅读】LLM撰写长文！《Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models》

这篇论文非常有意思，也非常有用，讲述了如何利用LLM撰写高质量的长篇文章。
https://arxiv.org/html/2402.14207v2
项目：github.com/stanford-oval/storm
Demo：storm.genie.stanford.edu

摘要：
我们研究了如何应用大型语言模型来从头开始撰写有根据的、有组织的长篇文章，其广度和深度可与 Wikipedia 页面相媲美。这个尚未被充分探索的问题在写作前阶段提出了新的挑战，包括如何研究主题以及在写作前准备大纲。
我们提出了 STORM，一个写作系统，用于通过检索和多角度提问来合成主题大纲。STORM 通过以下方式模拟写作前阶段：(1) 在研究给定主题时发现不同的视角，(2) 模拟对话，其中带有不同视角的写作者向基于互联网可信来源的主题专家提出问题，(3) 策划收集到的信息以创建大纲。
为了评估，我们策划了 FreshWiki，一个包含最近高质量 Wikipedia 文章的数据集，并制定了大纲评估标准来评估写作前阶段。我们还收集了经验丰富的 Wikipedia 编辑的反馈。与由大纲驱动的检索增强型基线生成的文章相比，STORM 的文章在组织性方面被认为更有序（绝对增加了 25%），在覆盖范围方面更广泛（增加了 10%）。
专家反馈还帮助我们识别了生成有根据的长篇文章方面的新挑战，例如来源偏见转移和无关事实的过度关联。

背景

作者设定了研究的背景，介绍了 STORM 系统，以及如何通过模拟人类写作过程的前期阶段来提高自动生成 Wikipedia 类文章的质量。主要讨论了以下几个方面：

• 写作挑战： 作者指出，使用大型语言模型（LLMs）从头开始撰写类似于 Wikipedia 的长篇文章存在挑战，尤其是在写作前的准备阶段，这包括如何对主题进行研究以及如何准备文章大纲。

• 现有方法的局限性： 作者讨论了直接提示（Direct