本文是LLM系列文章,针对《Truth-Aware Context Selection: Mitigating the Hallucinations of Large Language Models Being Misled by Untruthful Contexts》的翻译。
摘要
尽管大型语言模型(LLM)已经展示了令人印象深刻的文本生成能力,但它们很容易被用户或知识增强工具提供的不真实上下文误导,从而产生幻觉。为了避免LLM被不真实的信息误导,并利用知识增强,我们提出了一种轻量级的方法——TruthAware上下文选择(TACS),以保护不真实的上下文不受输入的影响。TACS从对输入上下文执行真实性检测开始,利用LLM中的参数化知识。随后,它基于每个位置的真实性构建相应的注意力掩码,选择真实的上下文并丢弃不真实的上下文。此外,我们引入了一种新的评估指标——干扰适应率,以进一步研究LLM接受真实信息和抵抗不真实信息的能力。实验结果表明,当出现误导性信息时,TACS可以有效地过滤上下文中的信息,并显著提高LLM响应的整体质量。