本文是LLM系列文章,针对《Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation》的翻译。
摘要
知识密集型任务(例如,开放领域问答(QA))需要大量的事实知识,并且经常依赖外部信息来提供帮助。最近,大型语言模型(LLM)(例如,ChatGPT)在用世界知识解决一系列任务方面表现出了令人印象深刻的能力,包括知识密集型任务。然而,目前尚不清楚LLM对其事实知识边界的感知能力,特别是在结合检索增强时的表现。在本研究中,我们对LLM的事实知识边界以及检索增强如何影响开放域QA中的LLM进行了初步分析。特别是,我们关注了三个主要的研究问题,并通过检验LLM的QA性能、先验判断和后验判断对其进行了分析。我们展示的证据表明,LLM对其回答问题的能力和回答的准确性有着坚定不移的信心。此外,检索增强被证明是提高LLM知识边界意识的有效方法,从而提高其判断能力。此外,我们还发现,LLM在制定答案时倾向于依赖所提供的检索结果,而这些结果的质量会显著影响其依赖性。复制此作品的代码可在https://github.com/RUCAIBox/LLM-Knowledge-Boundary。
1 引言
2 背景和设置
3 实验分析和发现
4 结论
在