Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

最新推荐文章于 2024-10-06 15:19:53 发布
最新推荐文章于 2024-10-06 15:19:53 发布
阅读量878 收藏 7
点赞数 11
文章标签： 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blankit1/article/details/135716633
版权
论文分析了多模态模型在视觉问答(VQA)中的错误，提出视觉编码器、大语言模型和特征对齐可能存在的问题。实验显示模型规模和数据影响某些任务性能，CLIP和DINO在相似度评估上差异明显。MMVP-VLM测试集用于评价模型改进后的表现。
摘要由CSDN通过智能技术生成

大开眼界？探索多模态模型种视觉编码器的缺陷。
在这里插入图片描述
论文中指出，上面这些VQA问题，人类可以瞬间给出正确的答案，但是多模态给出的结果却是错误的。是哪个环节出了问题呢？视觉编码器的问题？大语言模型出现了幻觉？还是视觉特征与语言模型间的特征没有对齐？
作者将上述问题分成了9个类别（通过将涉及的问题和选项提供chatgpt,让chatgpt将这些问题归类）
在这里插入图片描述

  • 通过实验发现，增加模型规模/训练数据的数量，多模态模型仅在颜色/外观任务和物体状态/状况这两项任务上的表现有提升。
  • 通过实验发现，两张很相似的图片（如下图的两只蝴蝶），视觉编码器（CLIP）给出两张图片的相似度很高，但是自编码器（DINO）给出的相似度不是很高，作者定义这两幅图片为CLIP-blind pairs
    在这里插入图片描述
    clip和多模态模型在这9项任务上的表现
    在这里插入图片描述

通过增加自监督特征，多模态模型的能力有了提升
在这里插入图片描述
上图种左边是目前的多模态结构，中间部分是两部分特征线性相加，右边是交错混合的方式。
为了评价多模态模型在这些任务上的表现，建立了MMVP-VLM的测试集。
在这里插入图片描述
在这里插入图片描述

MMVP-VLM的建立过程
在这里插入图片描述

huahuahuahhhh
关注
多模态大模型的视觉基础研究——从CLIP到SEAL
weixin_41496173的博客
06-24 1032
视觉基础模型
Exploring the Transferability of Visual Prompting for Multimodal Large Language Models
c_cpp_csharp的专栏
08-15 58
尽管多模态大型语言模型（MLLM）已经显示出有前景的多功能性，但它们在下游任务上的性能仍然不如专用模型，这使得有必要进行自适应以提高其效用。然而，微调方法需要对每个模型进行独立训练，从而导致巨大的计算和内存开销。在这篇论文中，我们提出了一种新的设置，我们的目标是通过一组针对下游任务优化的共享参数来提高各种MLLM的性能。为了实现这一目标，我们提出了可转移视觉提示（TVP），这是一种简单有效的生成视觉提示的方法，可以在仅在一个模型上训练后转移到不同的模型并提高其在下游任务上的性能。
对话香港大学马毅：“如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”
E2024529的博客
06-11 87
马毅：现有的深度学习模型，例如 Transformer（主流大语言模型架构）、Denoising Diffusion （去噪扩散模型，主流文生图模型）本质都在做一样的事：压缩数据——就是从高维的图像、声音、语言等信号里，找到可以表示数据间相关性的低维结构，这些低维结构就可以帮助预测高维信号——只是压缩的算子和优化策略不太一样。智能最本质的特征是能纠正自己现存知识的不足，能增加新的知识。是更早时 40 年代的信息论、博弈论和控制论，它们研究信息的编码、解码，反馈和纠错机制，这都是底层智能，是动物也有的特点。
Eyes Wide Shut Exploring the Visual Shortcomings of Multimodal LLMs
weixin_44966641的博客
07-08 878
CLIP 使用自然语言作为图像预训练的监督信号，使用对比学习和大量图文对训练出了图文联合特征空间，无疑是一个里程碑式的工作。然而，CLIP 的训练信号来自于自然语言，是语义级别的监督，再加上网络图文对数据的文本描述不够详尽精确，导致 CLIP 对于细节视觉信息的把握比较差。更遗憾的是，这种源自于训练目标的固有的缺陷，是无法通过 scaling 模型和数据来解决的。本文通过找出 CLIP-blind pairs，探究了 CLIP 模型的缺陷，分析了现有主流 MLLM 将 CLIP 作为图像编码器带来的影响。
multimodal LLM相关
weixin_43845649的博客
11-21 135
预定义的common space，每个模态到common space的映射分开学习。workshop的引文。两阶段召回，先粗后细。
基于CLIP特征的多模态大模型中的视觉短板问题
机器学习杂货铺1号店
07-06 1099
如今的大多数多模态大模型，其视觉输入侧采用的视觉编码器，都是依照CLIP的训练方式，采用大规模对比学习进行训练的。在论文 [1] 中，作者发现CLIP特征具有某些视觉短板，从而导致基于此的MLLM也受到了影响。作者观察到，在一些简单直接（不需要复杂推理）的问题上，MLLM似乎并不能很好解决...
Alignment与Correspondence，用于量化衡量MLLM中视觉特征的视觉语义对齐与视觉结构程度的方法
机器学习杂货铺1号店
10-06 1006
在多模态大模型（Multimodal Large Language Model， MLLM）中，视觉特征就像是人的眼睛，而底座的LLM则像是人的大脑，合适的视觉特征的选择通常都是一个MLLM成功的重要一步。本文介绍一种可以用于高效选择合适的视觉特征的方法，如有谬误请见谅并联系指出，本文遵守。关键字：高效的MLLM视觉特征选择、定量衡量视觉语义对齐、定量衡量视觉结构特征知乎专栏:计算机视觉/计算机图形理论与应用微信公众号：机器学习杂货铺3号店视觉编码器，可以是CLIP、SigLIP、DINO等。
假新闻检测论文分享（15）MCNN(Detecting fake news by exploring the consistency of multimodaldata)
weixin_41964296的博客
09-26 792
近期的许多研究都表明，假新闻的传播不再依赖单一的文本模式，更多的假新闻可能会出现在各种数据模式中,如文本、图片和视频。它是多媒体的集合,这意味着很难从单模数据中检测假消息。目前的假新闻检测方法要么基于单模态数据，要么合并两种类型的数据(Ma et al.， 2016;马、高、王，2019)。这些方法忽略了各种模态的有效建模和多模态数据之间的相似性(TI-CNN;SAFE)。因此，不可能深入挖掘假新闻的内在特征(如图像篡改、图像不一致等)。
TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models
c_cpp_csharp的专栏
08-01 110
多模态大型语言模型（MLLM）在各种多模态任务上显示出令人印象深刻的结果。然而，大多数现有的MLLM并不适合面向文档的任务，这些任务需要细粒度的图像感知和信息压缩。在本文中，我们介绍了TextHawk，这是一种专门为面向文档的任务设计的MLLM，同时保留了MLLM的一般功能。TextHawk旨在通过设计四个专用组件来探索高效的细粒度感知。首先，提出了一种重新采样和重新排列（ReSA）模块，以减少文档文本中的冗余，降低MLLM的计算成本。
Exploring-Wide-Scrape:我使用 80TB Wide Scrape of the World Wide Web 工作的代码，由 Internet Archive 提供
06-06
我使用 80TB Wide Scrape of the World Wide Web 工作的代码，由 Internet Archive 提供。 欲了解更多信息，请关注我的博客。 代码是用 Mathematica 8 或 9 编写的。 CDX 文件的域计数 (CDX-Analysis.nb) ：参见 ...
Exploring the Capabilities of Multimodal Large Language Models on Medical Challenge Problems
c_cpp_csharp的专栏
04-05 57
大型语言模型在医疗保健行业具有潜在的价值，但通过严格的评估验证其安全性和有效性至关重要。为此，我们在医学推理、幻觉检测和医学视觉问答任务中全面评估了开源LLM和谷歌新的多模式LLM Gemini。虽然Gemini表现出了能力，但在诊断准确性方面落后于MedPaLM 2和GPT-4等最先进的模型。此外，Gemini在医疗VQA数据集上的准确率为61.45%，显著低于GPT-4V 88%的得分。我们的分析表明，Gemini非常容易产生幻觉、过度自信和知识差距，这表明如果不加批判地部署，就会有风险。
基于双区间熵重映射的图像对比度增强方法研究
11-08
内容概要：该论文介绍了一种基于双区间熵重映射的图像对比度增强方法。文中详细解释了方法的数学原理及其在图像处理中的应用，特别是如何有效地提高低对比度图像的对比度，同时对高对比度图像的变换则相对平滑。实验证明该方法不仅提高了图像的视觉效果，还能结合Gabor滤波器进一步提升增强效果。 适合人群：从事图像处理和计算机视觉领域的研究人员和技术人员，以及对图像对比度增强技术感兴趣的学术界人士。 使用场景及目标：适用于需要提高数字图像对比度的各种应用场景，尤其是在图像处理和计算机视觉任务中。目的是提高图像质量，更好地识别和分析图像内容。 其他说明：该方法不仅在对比度增强方面表现优异，还在保持图像原有细节和减少噪声方面显示出优势。通过对多种经典测试图像的评估，证明了其优越性和普适性。
软考知识点-系统架构设计师-计算机网络与软件工程关键技术综述
11-08
内容概要：本文涵盖了多个领域的关键技术和概念，主要包括PaaS、SaaS、IaaS等云计算服务模式；数据库的三级模式（外模式、模式、内模式）；AI芯片的技术架构（GPU、FPGA、ASIC、类脑芯片等）；DNS配置和管理在Linux、Unix、macOS和Windows中的差异；网络和服务器延迟的定义及组成部分；软件需求开发、软件过程、软件活动和软件设计的关键步骤；信息屏蔽的概念及应用；构件分类；中间件的功能；C/S架构的不同层次及特征；Kerberos认证协议的工作原理和优缺点。每部分内容均简明扼要地介绍了相关概念和技术的特点和应用。 适合人群：具备一定技术背景的研究人员、开发人员和系统管理员。 使用场景及目标：适用于希望深入了解计算机网络、软件工程和信息安全领域的从业人员，可用于指导技术选型、系统设计和安全防护等方面的工作。 阅读建议：本文内容丰富，涵盖多个领域，建议在阅读时重点关注自己感兴趣的领域，并结合实际情况进行深入研究和实践。
农家乐内部管理系统 SSM毕业设计 附带论文.zip
最新发布
11-08
农家乐内部管理系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
线上办公管理系统 SSM毕业设计 附带论文.zip
11-08
线上办公管理系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
RDPWrap 配置文件更新包 rdpwrap.ini 更新到 10.0.19041.2913
11-08
多用远程配置文件，新版本的找了很久。提供给大家使用。详细配置方式。查看网友的。很详细。不解释了。
基于MySQL的嵌入式Linux智慧农业信息采集控制系统 +C语言项目源码+文档说明
11-08
<项目介绍> - 系统主要实现的功能有： （1）采集终端向服务器上报温度、湿度、电机状态（用于降低温度）、开关状态（用于自动浇水）； （2）服务器接收到数据后提取信息，将数据及其上报时间写入数据库存储历史记录，便于用于查看； （3）服务器接收到数据后从数据库中读取用户设定的阈值，对数据进行判断，如果超过或者低于阈值即发送对应指令，打开/关闭电机，或者打开/关闭开关； （4）用户端程序可以修改报警阈值； - 不懂运行，下载完可以私聊问，可远程教学 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
the future of mobile e-health application development: exploring html5 for c
07-16
### 回答1： 移动电子健康应用程序的未来：探索HTML5作为C的开发平台。 移动电子健康应用程序在过去几年中迅速发展，成为医疗行业的重要组成部分。随着移动设备普及率的提高，人们越来越多地使用智能手机和平板电脑来管理和监测健康状况。未来，这种趋势将继续增长，并且我们可以期待移动电子健康应用程序的需求将更加多样化和复杂化。 在开发移动电子健康应用程序时，HTML5是一种值得探索的开发平台，尤其是在C语言环境下。HTML5是一种现代化的标记语言，为开发者提供了许多新的功能和工具，可以用于构建各种移动应用程序。 首先，HTML5具有跨平台的优势。无论是在iOS、Android还是其他操作系统上，HTML5应用程序都可以进行开发和运行，这为开发者带来了更广泛的受众基础。它还不需要任何额外的插件或软件，使得应用程序更容易被用户接受和使用。 其次，HTML5提供了丰富的多媒体支持。移动电子健康应用程序可能需要展示各种类型的健康数据，如图表、图片和视频等。HTML5的多媒体功能可以帮助开发者在应用程序中轻松地集成这些元素，以便于用户更好地理解和管理自己的健康状况。 此外，HTML5还具有良好的互联互通性。它可以与云计算技术和其他网站服务进行集成，使用户能够轻松地访问和共享健康数据。这种互联互通性为医疗行业提供了更多的合作机会，促进了移动电子健康应用程序的进一步发展。 总之，HTML5作为移动电子健康应用程序的开发平台具有巨大的潜力。它跨平台、提供多媒体支持和良好的互联互通性，能够满足不断增长的移动电子健康应用程序需求。在未来，我们可以期待HTML5在C语言环境下的应用得到更多的开发和创新。 ### 回答2： 移动电子健康应用程序的未来：探索HTML5用于C语言的开发。 移动电子健康应用程序的未来十分看好，而HTML5为C语言的开发提供了许多新的机遇。HTML5是一种用于构建网页和Web应用程序的标准技术，它的灵活性和可移植性使其成为移动电子健康应用程序开发的有力工具。 首先，HTML5提供了更丰富的用户体验。通过使用HTML5的标准化元素和功能，开发人员可以创建更具吸引力和直观的移动电子健康应用程序。这意味着用户可以更轻松地浏览内容、交互和操作移动电子健康应用程序，从而提高了其使用的便利性。 其次，HTML5的跨平台特性使得开发和部署移动电子健康应用程序更加容易。传统上，C语言被广泛用于移动应用开发，而使用HTML5可以将移动电子健康应用程序轻松地跨平台到不同的设备和操作系统上。这样，开发人员可以更快速地将应用程序推向市场，提高了开发的效率和可扩展性。 此外，HTML5还提供了强大的图形和多媒体处理能力。移动电子健康应用程序通常需要处理复杂的图表、图像和视频等内容，而HTML5提供了丰富的图形和多媒体功能，使开发人员能够更直观地展示和处理这些数据。这对移动电子健康应用程序的可视化和数据分析非常重要。 然而，HTML5也存在一些挑战。与传统的原生应用程序相比，HTML5应用程序可能性能略逊一筹。此外，开发过程中需要考虑设备的兼容性和安全性等问题，以确保移动电子健康应用程序的可靠性和安全性。 总体来说，随着移动电子健康应用程序市场的不断增长和HTML5技术的发展，HTML5用于C语言的开发在未来将发挥重要作用。开发人员可以利用HTML5的灵活性、可移植性和丰富的功能，创建更具吸引力和易用性的移动电子健康应用程序，从而为用户提供更好的健康管理体验。 ### 回答3： 移动电子健康应用程序的未来：探索HTML5用于C 移动电子健康应用程序开发一直是关注的热点，随着技术的不断进步和人们对健康的关注度增加，我们可以预见未来的发展方向。HTML5是一种流行的开发技术，已广泛应用于Web应用程序开发中。那么，将HTML5与C语言结合，是移动电子健康应用程序开发领域的一大趋势。 首先，HTML5具有跨平台的特点。移动电子健康应用程序在不同的操作系统和设备上运行，兼容性是一个重要的问题。HTML5可以跨平台运行，不受特定操作系统或设备的限制，使得开发人员可以更加便捷地创建应用程序。 其次，HTML5具有丰富的功能和交互性。移动电子健康应用程序需要展示各种健康数据、提供交互操作和界面，以及实时更新数据等功能。HTML5提供了多种元素和API，开发人员可以根据需求自由定制用户界面，并实现与用户的交互操作。此外，HTML5还支持多媒体和实时通信，可以提供更丰富的用户体验。 再次，HTML5支持离线应用程序。对于移动电子健康应用程序来说，有时在没有网络连接的情况下，用户仍然希望能够使用一些功能和数据。HTML5提供了离线存储和缓存功能，可以将应用程序的核心功能和数据缓存到本地，使得用户在离线情况下仍然能够访问和使用一部分功能。 最后，HTML5具有不断更新和发展的潜力。随着技术的进步，HTML5的功能将不断增强，开发人员可以充分利用这些新特性来提升移动电子健康应用程序的性能和体验。 综上所述，HTML5与C语言结合是移动电子健康应用程序开发的未来趋势。通过使用HTML5，开发人员可以实现跨平台、丰富功能、离线支持等优势，提供更好的用户体验和便捷的开发方式，推动移动电子健康应用程序的发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值