Woodpecker论文解析

Woodpecker论文解析

简介：首个免训练的多模态大语言模型幻觉检测方法。背景：现存的MLLM存在幻觉，可简单分为对象级幻觉以及属性级幻觉。同时现存幻觉检测方法通常为通过指令微调原有MLLM。但是由于通常生成较长文本仍然不可避免地会产生幻觉，以及微调对数据质量以及资源消耗大。为此作者提出免训练方法Woodpecker

pipeline：步骤分为以下五步：关键概念提取、问题生成、知识验证、生成陈述、纠正幻觉。1）关键概念提取：通过prompt调用LLM对原始MLLM的回答抽取实体如：狗、人、花等。2）问题生成：通过prompt调用LLM对段落中有关实体部分进行属性方面问题生成。3）知识验证：即通过调用外部专家模型和多模态模型进行幻觉检测。对于对象级幻觉调用目标检测专家sota模型GroundingDINO、属性级调用BLIP2多模态模型进行检测。4）生成陈述：将答案和问题合并生成陈述使用模型为khhuang/zerofec-qa2claim-t5-base。5）纠正幻觉：通过prompt调用LLM生成纠正幻觉后的正确回答。

实验结果：在随机设定下，它给MiniGPT-4和mPLUGOwl和在准确率指标上分别带来了30.66%和24.33%的提升。