基于自动反馈的大语言模型纠错策略综述

本文“Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies”主要探讨了大语言模型（LLMs）的自我纠正策略，具体内容如下：

1. 引言
   • LLMs的发展与问题：LLMs在NLP任务中表现出色，但存在如幻觉、推理不忠实、生成有害内容和不遵循规则等问题，这些问题阻碍了其在实际中的应用。
   • 自我纠正策略的兴起：为解决这些问题，一种流行的策略是让LLMs从反馈中学习，其中利用自动化反馈的自我纠正方法备受关注，因为它能减少对人工反馈的依赖，使基于LLM的解决方案更实用。
2. 自动反馈纠正LLMs的分类法
   • 概念框架：提出了一个概念框架，将纠正LLMs的过程类比为医疗过程，涉及语言模型（患者）、评论模型（医生和诊断）和优化模型（治疗）三个部分。并基于此框架，从五个关键维度对现有方法进行分类，包括纠正的问题、反馈的来源和格式、反馈的使用时间以及如何用反馈纠正模型。
   • 具体分类
     • 纠正的问题：主要包括幻觉、推理不忠实、有毒有害内容和代码缺陷等四类错误。
     • 反馈的来源：分为人类反馈和自动化反馈，本文重点关注自动化反馈，其又可分为自反馈（来自LLM自身）和外部反馈（来自外部模型、工