老外整了个领先的幻觉检测模型Lynx

夕小瑶

于 2024-07-14 21:10:19 发布

阅读量755

点赞数 10

文章标签：人工智能

本文链接：https://blog.csdn.net/xixiaoyaoww/article/details/140423195

版权

大家想必都知道，AI用着用着就容易“胡言乱语”，我们把这种现象叫做“AI幻觉”。

简单来说，幻觉就是当AI模型在生成内容或回答问题时，可能会“编造”一些并不真实或不符合事实的信息。这些编造的信息看起来可能很合理，但实际上它们要么是错误的，要么是与现实情况不符的。它会让人误以为AI模型无所不知，但实际上它可能只是基于一些不完整的或错误的信息来生成内容的。

笔者在日常使用AI的时候，也深受其幻觉问题影响。前不久，笔者发现来自一群来自Patronus AI、 Contextual AI和斯坦福大学的老外整了个“遥遥领先”的幻觉检测模型，号曰“Lynx”。

论文标题：
Lynx: An Open Source Hallucination Evaluation Model

论文链接：
https://arxiv.org/abs/2407.08488

什么是Lynx？

Lynx是一种开源的幻觉检测大型语言模型（LLM），Lynx旨在减轻检索增强生成（RAG）技术中的幻觉问题。

▲ChatGPT、Claude和Lynx对于同一个问题的回答

1.数据集构建

数据来源：研究团队从多个现有的问答（QA）数据集中抽取样本，包括CovidQA、PubMedQA、DROP和FinanceBench等。
样本数量：训练数据集由2400个样本组成，其中800个样本用于验证。对于每个子任务，他们从源数据集的训练部分中抽取了600个示例，其中300个被扰动以生成看似合理但不忠实于上下文的幻觉答案。

2.数据扰动

为了训练Lynx以识别并避免幻觉答案，研究团队通过引入扰动来生成一些幻觉答案。这些幻觉答案在表面上看起来合理，但实际上并不符合问题的真实上下文。

▲研究者设置的一些幻觉答案

3.模型微调

基础模型：Lynx是在Llama-3-70B-Instruct模型的基础上进行微调的。Llama-3-70B-Instruct是一个具备指令遵循能力的大语言模型。
微调过程：研究团队利用上述构建的数据集对Llama-3-70B-Instruct进行微调，特别关注硬检测幻觉的情况。

4.推理能力蒸馏

为了提高模型的零样本性能，研究团队采用了Chain of Thought（CoT）技术。他们使用GPT-4o生成训练集中每个示例的标签对应的推理过程，并将这些推理过程作为助手响应的一部分，在指令调优过程中提供。

5.训练配置

混合精度训练：采用混合精度训练以加速训练过程，同时使用flash attention。
优化器：使用AdamW优化器，其中和，并启用梯度裁剪，阈值为1.0。
调度器：使用带有预热步骤的余弦调度器，预热步骤设置为100。
硬件配置：对于评估70B模型，研究团队使用vLLM在8个H100 GPU上进行，设置了tensor_parallel = 8。对于评估8B变体，则使用模型和数据分片技术。

6.推理生成

使用Hugging Face pipelines进行生成，采用贪婪解码方式，最大新标记数设置为600。