2023年11月 AI速递

简介

微软在人工智能教育方面又出力作。generative-ai-for-beginners
包含一系列关于生成式人工智能的课程，包括 LLM 介绍、提示工程基础、构建文本生成/聊天应用等。

链接

https://github.com/microsoft/generative-ai-for-beginners

简介

中科大等机构的研究者们提出了一种名为「啄木鸟（Woodpecker）」的通用架构，用于解决多模态大语言模型（MLLMs）输出的视觉幻觉问题。这种幻觉问题指的是模型的描述与图片内容不相符，可能包括属性幻觉和目标幻觉。

Woodpecker是一个免训练的即插即用的架构，它通过修正MLLM输出的幻觉问题，并输出检测框以表明相应目标的存在。它可以在不同的场景下修正幻觉，包括小对象、复杂计数场景和目标属性。研究者还提供了Woodpecker的Demo供读者测试使用。

研究结果表明，在应用Woodpecker修正后，不同的MLLMs在准确率指标上都有不同程度的提升。在随机设定下，Woodpecker分别为MiniGPT-4和mPLUG-Owl带来了30.66%和24.33%的提升。它还在更全面的验证集上测试了对属性幻觉的修正能力，表现出色。

Woodpecker的修正还提升了描述的准确性，并增加了细节丰富度。实验结果表明，这个框架有效地修正了描述中的幻视问题，提供了更多的位置信息，从而提高了细节丰富度。

这项研究有望改善多模态大语言模型的可靠性，减少视觉幻觉问题对模型性能的负面影响。

链接

论文地址: https://arxiv.org/pdf/2310.16045.pdf
项目地址: https://github.com/BradyFU/Woodpecker