多模态中的视觉编码器clip以及输入分辨率

已于 2024-04-22 15:39:10 修改
阅读量1.2k 收藏 3
点赞数 2
分类专栏： 多模态大语言模型 文章标签： 人工智能
于 2024-04-19 11:27:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/137914068
版权
本文探讨了在多模态视觉编码中，使用如CLIP的ViT（Vision Transformer）而非传统分类backbone能显著提升效果。列举了不同模型如EVA2-CLIP-E、QWEN-VL、LLAVA等，它们支持的分辨率从224到896像素不等，展示分辨率变化对模型性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在多模态的视觉编码主干中，若采用分类的backbone效果很差，经过语义对齐的backbone，比如clip的vit，效果则好很多。

1.Cogvlm中的EVA2-CLIP-E，VIT中最后一层被移除，4.4B，支持分辨率为334/490.

2.QWEN-VL中openclip的ViT-bigG，1.9B，支持分辨率448x448。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
vision transformer 在clip里面怎么对图片编码
强化学习曾小健
07-09 1855
分割成固定大小的图像块(patches图像分割成 197 个特征维度为 768性投固定维度的向量空间位置编码,以保留图像的空间信息Transformer Encoder 中进行特征提取多头自注意力机制图像不同区域Encoder 的多层处理后,得到每个 patch 的高级特征[CLS] token 来聚合整个图像的固定维度的向图像的编码表示后续的对比学习通过这种方式,ViT 能够有效地捕捉图像的全局和局部特征,并且与CLIP 模型中的文本编码器产生可比较的特征表示。
多模态基础（二）：OpenAI经典之作CLIP vs LMM的黎明Flamingo
强化学习曾小健
07-23 820
我的理论是，由于 OpenAI 已经在整个互联网上搜索了他们的 GPT 模型，他们可能只是查询了他们的内部数据库。尽管该模型可以生成文本响应，但在 CLIP 评估的所有视觉语言理解任务上，其性能始终比 CLIP 的最佳性能模型低 10% 左右。由于 CLIP 的训练过程在概念上类似于图像到文本检索和文本到图像检索，因此 CLIP“为图像检索或搜索等广泛应用的任务展现了巨大的前景。从简化的角度来看，Flamingo 是 CLIP + 语言模型，添加了一些技术，使语言模型能够根据视觉和文本输入生成文本。
多模态模型CLIP原理与图片分类，文字搜索图像实战演练
m0_53157173的博客
02-19 1828
多模态模型CLIP原理与图片分类，文字搜索图像实战演练
多模态变体—CLIP：多模态视觉语言模型
Azperk的博客
02-27 555
CLIP 由 OpenAI 提出，相关论文介绍了其关键技术。图像和文本联合训练，使用对比学习方法，让模型能够匹配图像与其描述。无需额外微调，在开放环境下具备零样本（zero-shot）分类能力。使用大规模互联网数据训练，增强泛化能力。支持各种视觉任务，如分类、目标检测、文本-图像检索等。
CLIP视觉编码器
bairw_Bella的博客
01-29 1245
CLIP视觉编码器
AI多模态模型架构之模态编码器：图像编码、音频编码、视频编码
AIGCmagic的博客
04-28 6936
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
多模态自编码器从EEG信号预测fNIRS静息态
u011661076的博客
10-31 1387
导读本研究介绍了一种深度学习架构，用于评估40名癫痫患者的多模态脑电图(EEG)和功能性近红外光谱(fNIRS)记录。长短期记忆网络和卷积神经网络集成在一个多模态序列到序列的自编码器中。训练后的神经网络通过从EEG全谱和特定EEG频段中分层提取深度特征，从EEG中无先验地预测fNIRS信号。结果表明，与其他频谱包络相比，更高频率的EEG范围可以预测fNIRS信号，其中gamma频段的输入主导fNIRS预测。基于种子的功能连接验证了实验性fNIRS和本研究模型的fNIRS重建之间的相似模式。
从CLIP到DINO：多模态大语言模型中的视觉编码器
m0_59235945的博客
04-08 958
多模态大语言模型 (MLLMs) 通过整合视觉感知接口，在扩展大语言模型 (LLMs) 的能力方面取得了显著进展。尽管出现了令人兴奋的应用和各种指令调优数据，但现有方法通常依赖于CLIP或其变体作为视觉分支，并且仅仅提取深层特征。然而，这些方法缺乏对MLLMs中视觉编码器的全面分析。在本文中，我们对MLLMs中不同视觉编码器的有效性进行了广泛的研究。我们的研究结果表明，CLIP的浅层特征对于细粒度任务（例如接地和区域理解）具有特别的优势。
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
VQGAN的核心在于其编码器和解码器的设计，其中编码器将连续的输入空间转化为离散的代码，解码器则负责从这些代码重建图像。 其次，CLIP（Contrastive Language-Image Pretraining）是由OpenAI开发的一种模型，它...
多模态革新：Ferret-v2在高分辨率图像理解与细粒度交互的突破
人工智能讲师分享前沿技术
06-14 2349
在多模态大型语言模型（MLLMs）的研究中，如何将视觉理解能力与语言模型相结合，以实现更精细的区域描述和推理，是一个重要的研究方向。先前的工作如Ferret模型，通过整合区域理解能力，提升了模型在对话中的指代能力。然而，这些方法通常基于粗糙的图像级对齐，缺乏对细节的精细理解。为了解决这一问题，研究者们开始探索如何提升MLLMs在详细视觉理解任务中的表现。
《深入浅出多模态》之多模态技术知识总结（中）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-02 598
本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。
多模态变分自编码器：解锁弱监督学习的强大力量
gitblog_00408的博客
08-29 542
多模态变分自编码器：解锁弱监督学习的强大力量 multimodal-vae-publicA PyTorch implementation of "Multimodal Generative Models for Scalable Weakly-Supervised Learning" (https://arxiv.org/abs/1802.05335)项目地址:https://gitcode.c...
通过稀疏自编码器引导CLIP的视觉变压器
最新发布
栖客
04-15 719
索尼亚·约瑟夫1,2 普拉内特·苏雷什1,2 伊桑·戈德法布3 伦茨·胡费4 乔希·甘德尔曼5 罗伯特·格雷厄姆2 丹尼洛·比佐克1,2 沃伊切赫·萨梅克4 布莱克·亚伦·里查兹1,21Mila 2麦吉尔大学 3独立研究员 4弗劳恩霍夫HHI 5加州大学伯克利分校sonia.joseph@mila.quebec（通讯作者）虽然视觉模型功能强大，但其内部机制仍不为人所理解——这一挑战在语言模型中已被稀疏自编码器（SAEs）帮助解决，但在视觉领域仍较少探索。我们通过在CLIP的视觉变压器上训练SAEs来填补这一
从Transformer到ViT：多模态编码器算法原理解析与实现
weixin_42010722的博客
03-17 4672
Transformer架构是一种使用自注意力机制的神经网络，最初是由谷歌提出的，被广泛应用于自然语言处理和图像处理任务中。它是一种基于注意力机制的深度学习模型，适用于序列到序列的学习任务，例如机器翻译、语音识别、文本摘要等。多模态Transformer前部分encoder算法是近年来在计算机视觉领域备受瞩目的研究方向之一。它的出现极大地推动了多模态信息的融合与处理，被广泛应用于图像、文本等多种数据类型的处理。
【计算机视觉】CLIP：连接文本和图像（关于CLIP的一些补充说明）
wzk4869的博客
05-15 4711
【计算机视觉】CLIP：连接文本和图像（关于CLIP的一些补充说明）
自编码器在多模态学习中的应用
AI天才研究院
12-31 1411
1.背景介绍 自编码器(Autoencoders)是一种深度学习架构，它通过学习压缩输入数据的低维表示，从而实现数据的编码和解码。自编码器被广泛应用于数据压缩、特征学习和生成模型等领域。在过去的几年里，多模态学习也成为了人工智能领域的一个热门话题。多模态学习是指在不同模态(如图像、文本、音频等)之间学习共享表示的过程。在这篇文章中，我们将探讨自编码器在多模态学习中的应用，并深入探讨其核心概念、算...
CLIP原理及code
weixin_42136827的博客
09-01 3567
在模型训练时，CLIP的图像编码器和文本编码器并不是独立训练的，而是通过一个共享的对比学习目标函数共同训练。CLIP通过大规模的图像-文本对进行训练，使得模型能够将正确配对的图像和文本在嵌入空间中靠近，而将错误配对的图像和文本分离。每个批次的数据包含图像和对应的文本描述，模型通过计算图像和文本的嵌入表示，然后使用对比损失来训练模型。：尽管论文主要关注的是图像和文本的关联，但CLIP的输出也可以用于指导生成模型，如DALL·E，以生成符合文本描述的图像。：CLIP能够实现文本检索图像，或图像检索文本。
【深度学习】CLIP，为什么是768？投影为什么是1024？
q742971636的博客
06-21 908
https://zhuanlan.zhihu.com/p/486857682
多模态大模型综述，零基础入门到精通，收藏这一篇就够了
Python_0011的博客
09-10 2226
多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。
CLIP多模态大模型预训练指南：Region-based方法与源码教程
在本节中，我们将详细介绍多模态大模型CLIP（Contrastive Language-Image Pre-training）的预训练过程，这是一种结合了语言和图像的深度学习模型。CLIP模型由Region-based方法构建，能够在多个任务上展示出强大的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值