视觉语言大模型的幻觉问题

已于 2024-06-02 21:09:07 修改
阅读量1.5k 收藏 11
点赞数 9
分类专栏： 大模型 文章标签： 深度学习 人工智能
于 2024-06-02 20:40:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/morgan777/article/details/139396771
版权

视觉语言大模型经常会产生幻觉，本文借助一篇综述 A Survey on Hallucination in Large Vision-Language Models 来总结LVLM 幻觉产生的原因和可能的解决方法。

大模型幻觉产生的原因

在这里插入图片描述

训练数据导致的幻觉

  • 数据偏见 (Data Bias). 数据缺乏多样化的指令学习，例如事实判断经常回答“是”，模型只会描述图像而不会其他任务。
  • 标注无关性 (Annotation Irrelevance). 大量的指令数据主要是通过大型语言模型（LLMs）从图像字幕和检测数据合成得到的。然而，由于这些生成模型的不可靠性，这种方法面临着标注相关性的挑战：生成的长指令中常常包含与图像中精细内容不相符的对象、属性和关系.

视觉编码产生的幻觉

LVLM 通常使用 CLIP 作为视觉编码器，CLIP虽然能够将文本与视觉特征映射到同一空间中，但CLIP 全面表达视觉信息方面仍存在局限性，比如视觉分辨率的限制以及对细粒度视觉语义表达的不足。这意味着CLIP可能无法精确捕捉到图像中的所有细节或深层次语义，特别是当涉及到高分辨率图像中的微妙差异或需要深刻理解场景上下文时。

  • 有限的视觉分辨率 (Limited Visual Resolution). 提升图像分辨率可以使视觉编码器在对象识别上更加精确，并能感知到更多视觉细节，从而缓解幻觉问题.
  • 细粒度视觉语义 (Fine-grained Visual Semantics). CLIP通过对比学习将视觉内容与词嵌入对齐，这一过程主要侧重于突出的物体，未能捕捉到图像的细粒度方面，从而导致产生幻觉

对齐模块产生的幻觉

  • 连接模块太简单 (Connection Module Simplicity). 通常情况下，连接视觉和文本模态的连接模块采用的是诸如线性层等简单结构。这类设计固然具有计算成本低的优点，但是其简单性阻碍了全面的多模态融合，模型可能无法深入理解和整合来自不同模态的信息，从而增加了生成内容偏离现实、产生幻觉的风险。
  • 受限的Token约束 (Limited Token Constraints). Q-Former作为一种多模态对齐模块，其Token数量太少，在对齐过程中阻碍了图像中所有信息的编码，由此导致的信息损失加剧了产生幻觉的风险。

语言模型产生的幻觉

  • 上下文注意力不足 (Insufficient Context Attention).** LLM过度关注生成的文本片段，而忽略了视觉信息。
  • 随机采样解码 (随机采样解码). 随机采样解码通过在解码过程中引入随机性，这种方法能避免生成低质量的文本，并保证生成内容的多样性，但是随机性也会增加生成内容产生幻觉的风险。
  • 能力错位 (Capability Misalignment). LLM模型在预训练阶段形成的固有能力与后续指令微调阶段所施加的扩展需求不匹配，模型被要求回答它在原始训练数据中并未充分学习的问题，很容易导致幻觉的产生。

减少幻觉的方法

数据层面

  • 减少数据偏差 (Bias Mitigation). 可采取的方法有：1）平衡正负样本比例。2）使用更大规模的视觉指令微调数据集 (LRV-Instruction)，并且包括不同层次的正面和负面指令。3）细化原始数据，更改原始数据中属性、数量等内容，构造更多的负样本。
  • 增强标注 (Annotation Enrichment). 使用更详细的标注能够缓解模型产生幻觉的现象。可采取的方法有：1）标注图片中每个物体的存在性、相对位置和属性。2）更加详细的空间层次关系。3）多轮对话，更加复杂的交互样本。

改善视觉编码器

  • 扩大图像分辨率 (Scaling-up Vision Resolution). 增加分辨率能构提高模型对图像细节的理解能力，但是分辨率增加也会加大计算量，如何平衡二者关系也值得研究一番。
  • 增强感知能力 (Perceptual Enhancement). 可以引入额外的视觉编码器，如分割图、深度图等信息帮助模型更好地理解物体间的空间位置关系。

改善连接模块

  • 连接模块增强 (Connection Module Enhancing). 简单地说，就是增加连接模型的参数量和复杂度。比如单层线性连接换成MLP， Q-Former 换成 QLLaMA .
  • 对齐训练优化 (Alignment Training Optimizing). 对齐训练流程是提升模态间对齐度并减少幻觉风险的有效途径。方法有：1）增加新的学习目标，弥补视觉和语言之间的差异；2）使用强化学习，对齐人类偏好。

改善语言模型

  • 解码优化 (Decoding Optimization). 目标使在解码过程中减少LLM对生成内容过度信任。
  • 对齐人类偏好 (Aligning with Human). 可采用的方法有：1）强化学习 LLaVA-RLHF；2）直接偏好优化 DPO。

参考文献

论文：A Survey on Hallucination in Large Vision-Language Models
代码：https://github.com/lhanchao777/LVLM-Hallucinations-Survey

『大模型笔记』视觉语言模型解释
AI新视界
04-16 2084
视觉语言模型是指能够从图像和文本中学习的多模态模型。这类模型属于生成模型，能够接收图像和文本输入，并产生文本输出。大型视觉语言模型具备优秀的零样本能力，能够广泛适应多种图像类型，如文档、网页等，并且表现出良好的泛化性。应用场景包括图像聊天、图像识别指导、视觉问答、文档理解和图像描述等。部分视觉语言模型还能识别图像中的空间属性，例如，在被要求检测或分割特定对象时，能够输出边界框或分割蒙版，或定位不同实体并回答关于它们的相对或绝对位置的问题。
大语言模型原理基础与前沿 检索增强视觉语言模型
AI天才研究院
06-17 749
近年来,人工智能领域取得了突飞猛进的发展,其中最引人注目的就是大语言模型(Large Language Models, LLMs)的崛起。从GPT系列到BERT,再到最新的ChatGPT,大语言模型在自然语言处理(NLP)领域展现出了惊人的能力。然而,随着技术的不断进步,研究者们发现单纯依赖于文本数据的语言模型存在一定局限性。为了突破这些限制,研究人员开始探索将视觉信息与语言模型相结合的方法,由此诞生了视觉语言模型(Vision-Language Models, VLMs)。
视觉大语言模型~
whaosoft143ai的博客
11-16 875
这是视觉大语言模型在自动驾驶和智能交通中的最新应用一点思考当前VLM, LLM十分的热门, 尤其是在自动驾驶领域, 自动驾驶的输入本身就是多模态的, 这里面最重要的就是图像和语言信息, 所以如何将图像和文本信息综合利用, 以及如何充分利用LLM是当前急需要探索的, 目前其实已有部分工作是关于VLM及LLM在自动驾驶中应用的, 比如为了利用文本信息，为了出可解释性, 但是其实VLM与LLM在自动驾驶中的应用远不止这些, 可以结合的地方有很多, 比如感知, 决策，规划, 可以分别从这些方向入手探讨结合的方向。另
视觉语言模型：融合视觉与语言的未来
m0_56022510的博客
07-06 2487
视觉语言模型（Vision-Language Models, VLMs）是能够同时处理和理解视觉（图像）和语言（文本）两种模态信息的人工智能模型。这种模型结合了计算机视觉和自然语言处理的技术，使得它们能够在视觉问答、图像描述生成、文本到图像搜索等复杂任务中表现出色。它是将transformer架构应用到计算机视觉领域的成功案例。具体来说就是将传统CNN中图像特征提取的全局替换为注意力机制。视觉语言模型在多个领域展示了巨大的潜力，包括图像检索、生成式AI、图像分割、医疗诊断和机器人技术。
LLM（大型语言模型） 和 VLM（视觉语言模型）
最新发布
qq_50857609的博客
03-18 1370
首个版本为Gemini 1.0，包括三个不同体量的模型：用于处理“高度复杂任务”的Gemini Ultra、用于处理多个任务的Gemini Nano和用于处理“终端上设备的特定任务”的Gemini Pro。从2023年12月13日开始，开发者和企业客户可以通过Google的AI Studio和Google Cloud Vertex AI中的Gemini API访问Gemini Pro。：结合掩码语言建模（MLM）与图像-文本匹配（ITM）任务（如VisualBERT）7。
盘点 2024 年的视觉语言模型VLMs
xx_nm98的博客
11-24 1349
视觉语言模型（Vision Language Models, VLMs）是一类生成模型，能够同时从图像和文本中学习以解决多种任务。视觉语言模型被广义定义为能够从图像和文本中学习的多模态模型。这类生成模型以图像和文本为输入，生成文本（或图像）作为输出。大型视觉语言模型在零样本学习中表现出色，具有良好的泛化能力，并能够处理多种类型的图像，包括文档、网页等。
视觉语言模型详解【VLM】
新缸中之脑
05-20 2万+
视觉语言模型被广泛定义为可以从图像和文本中学习的多模态模型。它们是一种生成式模型，可以接受图像和文本输入并生成文本输出。大型视觉语言模型具有良好的零样本能力，具有良好的泛化能力，并且可以处理多种类型的图像，包括文档、网页等。用例包括谈论图像、通过指令进行图像识别、视觉问答、文档理解、图像字幕等。一些视觉语言模型还可以捕获图像中的空间属性。当系统提示检测或分割特定主题时，这些模型可以输出边界框或分割掩码，也可以定位不同的实体或回答有关其相对或绝对位置的问题。
视觉语言大模型模型介绍-CLIP学习
qq_60199131的博客
09-19 2534
在这个场景中，配对的图像和文本对是正样本，因为它们描述的是相同的内容，这些正样本位于特征矩阵的对角线上。2、 2022年的BL1P， 之前的CLIP是一个图像理解模型，不能对图像进行一个文本描述生成，它是一个集图像生成和文本描述为一体的模型，并且，它考虑到从网络上采集(爬取)的数据存在大量噪声，(这个噪声指图片对应的标签、文本 错误、不匹配)，BLIP模型采用了一种称为CapFilt ( Captioning and Filtering) 的方法来去除噪声数据。
通过CLIP引导解码减轻大型视觉-语言模型中的幻觉问题
人工智能前沿分享
09-16 1330
人工智能咨询培训老师叶梓 转载标明出处大型视觉-语言模型（LVLMs）因其在视觉推理方面的能力而备受瞩目，被视为实现自主操作智能体的重要里程碑。但它在生成文本时容易出现对象幻觉问题，即描述中包含不存在的对象，这严重限制了它们的可靠性和实用性。
科普大模型入门指南：定义、应用与训练方法
热门推荐
张彦峰的博客
09-06 5万+
本文探讨了大语言模型的基本概念、训练机制以及其在各个领域的广泛应用。大模型通过深度学习技术，能够理解和生成自然语言，改变了人机交互的方式。文章分析了大模型的训练过程，并讨论了其在智能助手、内容生成、数据分析等领域的潜力。与此同时，我们也关注了在模型使用中面临的伦理、安全和可解释性等挑战。展望未来，本文强调了有效控制和监管的重要性，以确保大模型的安全和负责任使用。
VL综述：视觉-语言智能:任务、表征学习、大模型
qq_45331246的博客
09-18 2907
多模态综述
VLM（视觉语言模型）综述
qq_46981910的博客
08-30 1万+
对视觉语言多模态的模型进行介绍，涉及CLIP、GLIP、VLMo、Flamingo、BLIP等等。 VLMs的分类：根据VLM的输入处理和输出生成能力将其分为三个不同的组： 视觉语言理解模型：专门为视觉信息与语言的解释和理解而设计的模型 多模态输入文本生成模型：擅长利用多模态输入（如图像、视频和文本）来生成文本内容 多模态输入多模态输出模型：不仅接受多模态输入，还能产生多模态的输出
江大白 | 近一年，多模态视觉&语言大模型架构演进汇总梳理
csdn_xmj的博客
07-12 1782
近些年各种大模型层出不穷，本文对多模态LLM (视觉-语言模型) 近一年来的模型架构演进进行了详细回顾，对其中有代表性的工作进行了精炼总结，希望对大家有所帮助。
不知道如何提高视觉语言大模型？浙大与联汇研究院提出新型多维度评测框架...
Paper weekly
07-15 819
前言视觉语言预训练（VLP）模型最近成功地促进了许多跨多模态的下游任务。大多数现有工作通过比较微调的下游任务性能来评估其系统。然而，只有平均下游任务精度很难评判一个 VLP 模型的优点和缺点。另外，下游任务千千万万，相信很多小伙伴们和我一样，对众多下游任务了解不多，更不用说用具体的下游任务去评测模型啦。今天就给大家安利一款不需要下游任务也能评测预训练模型的工具吧，感兴趣的...
MMStar: 革新大型视觉语言模型评估的前沿基准
m0_75126181的博客
09-23 1000
在人工智能快速发展的今天，大型视觉语言模型(Large Vision-Language Models, LVLMs)作为一种能够理解和处理图像与文本信息的强大工具，正在引领多模态AI的新篇章。然而，随着这些模型能力的不断提升，如何准确评估它们的性能成为了一个日益重要的问题。为了应对这一挑战，一个名为MMStar的创新基准测试集应运而生，为我们提供了一个全新的视角来审视和评估LVLMs的真实能力。MMStar的出现标志着大型视觉语言模型评估领域的一个重要里程碑。
入门必读！多模态大语言模型的演变全回顾！（视觉定位、图像生成、编辑、理解）
AIGCer的博客
03-05 2934
注意力算子和Transformer架构的引入使得我们可以创建大规模的，能够处理各种模态的模型。这一进步主要归因于算子的多功能性和架构的适应性。最初，它们主要应用于语言模型，但很快就扩展到支持视觉处理骨干，并最终用于集成多种模态的模型。随着复杂的大语言模型的激增，尤其是它们在上下文学习方面的能力的进步，鼓励研究人员将这些模型的范围扩大到多种模态，既作为输入又作为输出。这种扩展促使了像GPT-4V和Gemini这样的尖端模型的开发，并展现了相当先进的能力。
VinVL：视觉语言模型中的视觉表示
weixin_51697828的博客
07-23 1886
以往的视觉语言（Vision Language，VL）研究主要关注视觉语言融合模型的改进，而对目标检测模型的改进很少涉及，但是作者发现视觉特征在VL模型中至关重要。因此，作者详细研究了视觉语言模型中的视觉表示（Visual representations in Vision-Language Models，VinVL）方法，并提出了一种改进的目标检测模型。与广泛使用的bottom-up和top-down模型相比，作者提出的模型更大，能更好地适应VL任务，并且在大规模“图像-文本”语料库上进行了预训练，可以生
大语言模型 vs 大模型
kaka0722ww的博客
04-08 4540
大语言模型 vs 大模型
语言大模型视觉大模型多模态大模型
01-25
### 多模态大模型的重要性 多模态学习模型（Multimodal Learning Models, MLMs）融合了来自多种感官模式的数据，如文本、图像、音频等，以实现更全面的理解和交互。评估是开发MLMs的关键部分，因为这为模型优化提供了必要的反馈，并促进了不同模型之间的性能比较[^1]。 #### 语言大模型的特点与发展 大型语言模型（Language Large Models, LLMs）专注于自然语言处理任务，能够理解和生成高质量的人类语言。这类模型通常通过大规模预训练获得强大的泛化能力，可以在各种下游任务中展现出色的表现。然而，LLMs的应用范围主要集中在单一的语言领域内，对于跨语言的支持相对有限[^3]。 ```python import transformers as trf model_name = "bert-base-multilingual-cased" tokenizer = trf.BertTokenizer.from_pretrained(model_name) model = trf.BertModel.from_pretrained(model_name) text = "这是一个中文句子。This is an English sentence." inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) ``` #### 视觉大模型的功能与挑战 视觉大模型（Vision Large Models, VLMs）致力于提升计算机视觉的能力，特别是在复杂场景下识别对象并解释其含义的任务上表现突出。尽管如此，VLMs依然存在一些问题，比如容易产生所谓的“物体幻觉”，即错误地感知到实际不存在的事物。为此，研究人员提出了诸如视觉对比解码(VCD)这样的技术来改善这一状况[^4]。 ```python from PIL import Image import torch from torchvision.models.detection import fasterrcnn_resnet50_fpn device = 'cuda' if torch.cuda.is_available() else 'cpu' model = fasterrcnn_resnet50_fpn(pretrained=True).to(device) model.eval() image_path = "./example.jpg" img = Image.open(image_path).convert("RGB") transformed_img = ... # Apply necessary transformations here. with torch.no_grad(): prediction = model([transformed_img.to(device)]) print(prediction) ``` #### 多模态大模型的优势及其应用前景 当把语言能力和视觉理解结合起来时就形成了多模态大模型(Multimodal Large Models, MLLMs)，它能够在更加真实的环境中执行复杂的认知活动。由于具备更强的通用性和适应性，MLLMs可以应对更多样化的应用场景，同时也带来了新的挑战——如何有效地衡量这些系统的整体效能成为了一个亟待解决的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值