Alleviating Hallucinations of Large Language Models through Induced Hallucinations

最新推荐文章于 2024-09-15 15:29:29 发布

UnknownBody

最新推荐文章于 2024-09-15 15:29:29 发布

阅读量453

点赞数 7

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/135727072

版权

LLM 日更专栏收录该内容

515 篇文章 3 订阅

已下架不支持订阅

本文提出了一种名为诱导然后对比解码（ICD）的方法，旨在解决大型语言模型（LLM）在生成内容时产生的不准确或捏造信息（幻觉）问题。ICD通过诱导幻觉并随后在解码过程中减弱这些幻觉来增强生成内容的真实性。实验证明，ICD可以有效提高LLM的真实性，例如，Llama2-7B-Chat和Mistral-7B-Instruction在TruthfulQA上的表现与ChatGPT和GPT4相当。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Alleviating Hallucinations of Large Language Models through Induced Hallucinations》的翻译。

摘要

尽管大型语言模型具有令人印象深刻的功能，但人们已经观察到它们会产生包括不准确或捏造信息的反应，这种现象通常被称为“幻觉”。在这项工作中，我们提出了一种简单的诱导然后对比解码（ICD）策略来缓解幻觉。我们首先通过从原始LLM中诱导幻觉来构建事实上较弱的LLM。然后，我们在解码过程中惩罚这些诱导的幻觉，以增强生成内容的真实性。具体来说，我们通过放大原始模型的预测并通过对比解码淡化诱导的不真实预测来确定最终的下一个表征预测。基于判别和基于生成的幻觉评估基准（如TruthfulQA和FACTSCORE）的实验结果表明，我们提出的ICD方法可以有效地提高各种模型大小和族的LLM的真实性。例如，当配备ICD时，Llama2-7B-Chat和Mistral-7B-Instruction在TruthfulQA上分别实现了与ChatGPT和GPT4相当的性能。