VILT算法解读

最新推荐文章于 2024-12-12 17:13:35 发布
最新推荐文章于 2024-12-12 17:13:35 发布
阅读量1.2k 收藏 24
点赞数 18
分类专栏： LLM与多模态 论文解读 文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xddwz/article/details/136192533
版权

VILT是一种典型的单塔结构，不同于双塔结构由两个独立的Image Encoder以及Text Encoder组成（比如clip），单塔结构的模型一般只有一个共用的编码器，称为Multi-Modal Encoder。 

1、VILT算法原理
    VILT被认为是最简单的单塔结构，它用统一的方式处理视觉和文本两种模态的输入，利用Transformer结构来作为共用的编码器学习模态间的信息交互（多模态融合）。其具体结构如下所示：


（1）数据输入处理

    既然是图文多模态，输入数据必然包含成对的图像和文本（图文pair）。

首先是文本输入，原始的文本输入可以看成是一个单词序列（比如图中的a，stone，statue等等），然后通过Word Embedding算法处理为词嵌入向量，所谓词嵌入向量就是一个高维的向量表征，同一个单词具有相同的嵌入表征，同时同义词的表征距离越近（具体词嵌入的过程可以参考NLP的一些资料，简单来说就是需要一个词汇表（vocabulary dict），然后将单词分词后转化为词汇表中的索引，再将数字索引变为高维向量）。注意到除了词嵌入向量外，每个单词最后的嵌入向量还添加了位置嵌入向量和模态类别嵌入向量（三种向量进行concat）。

然后是图像输入，与文本不同，原始的图像需要分块处理，变成一个图像块的序列，然后每个图像块会通过一个Linear Projection层投影成一个高维视觉特征图，然后将二维特征图展开变成一位特征向量，这样每个图像块就都变成了一个视觉特征向量，同时特征维度和词嵌入向量的特征维度一致。同时每个图像块除了视觉特征向量外，也会添加位置嵌入向量和模态类别嵌入向量（三种向量进行concat）。

    此外，两种模态分别都嵌入了一个额外的可学习[class] embedding，方便和下游任务对接。通过对两种输入的处理，最后不管是文本单词，还是图像块，都被embedding为了同样维度的token特征。

（2）模型结构

    由于视觉和文本输入被转化为了相同的token特征，所以后续的处理方式就可以统一了。因此VILT仅通过一个Transformer的结构就可以进行建模，它使用了一个预训练的ViT来初始化这个Transformer。

（3）预训练任务（损失函数）

    VILT在预训练阶段主要使用了两种较典型的优化目标，分别为Image Text Matching(ITM)和Masked Language Modeling（MLM）。

Image Text Matching(ITM)

    图像-文本匹配（ITM）可以预测一对图像和文本是正例（匹配）还是负例（不匹配）。使用多模态编码器输出嵌入的[CLS] token作为图像-文本对的联合表示，并附加一个全连接(FC)层，最后使用Softmax来预测一个二分类概率


    其中，y是一个表示ground truth标签的二维one-hot向量。

    ITM在使用时候的关键在于如何构造正负例样本，ITM 本质上是二分类，正样本就是匹配的图文对，负样本需要在训练的过程中进行采样，对每个图像一般在数据集中随机采样一个不匹配的文本作为负样本；对每个文本在数据集中随机采样1个不匹配的图像作为负样本。

Masked Language Modeling（MLM）

    MLM是训练NLP中Bert模型所使用的预训练任务，通常屏蔽（或随机替换）给定句子中特定百分比（15%）的单词，模型期望基于该句子中的其他单词预测这些被屏蔽的单词。这样的训练方案使这个模型在本质上是双向的，因为掩蔽词的表示是根据出现的词来学习的，不管是左还是右。你也可以把它想象成一个填空式的问题陈述。


    在单塔多模态中的MLM与Bert中的稍有不同，主要区别还是在输入信息，VILT中的MLM在预测被MASK的单词时，除了依赖上下文还可以依赖视觉模态的信息。

    另外，VILT在使用MLM时还结合了whole word masking技巧。所谓whole word masking是将连续的子词tokens进行mask的技巧，因为大部分的分词算法可能会将一个单词分为多个文本token，因此普通的MLM不能做到基于单词粒度的MASK，只能基于文本token这个粒度进行MASK。

2、VILT适合的下游任务
    VILT这种单塔的多模态结构由于在预训练的时候进行了充分的模态交互（模态融合），因此适合下游诸如VQA（视觉问答）,NLVR（自然语言视觉推理 ）等等。

（1）VILT进行VQA

    VQA任务就是根据一张图片来提问，希望模型能正确回答对应的问题。比如下面有一张图片，图片里有两只猫，问题Question是“How many cats are there?”，希望模型给出的答案Answer是“2”


（2）VILT进行NLVR

    VILT还可以用来进行NLVR任务，NLVR判断两张图片和一条文本的语义是否匹配，比如准备两张图片，对应的文本内容是text，如果图片和文本内容匹配则模型输出True，否则输出False。


3、小结
     VILT作为多模态单塔（单流）结构中的代表工作，虽然其在检索上的效率偏低，但是其在下游许多需要强交互的多模态理解任务上表现出了比双塔结构更强劲的性能！

多模态之论文笔记ViLT
pku_langzi的博客
04-15 1447
机构：韩国NAVER AILAB会议: ICML 2021 long paper，截止2023.04，引用量500+任务: 视觉语言预训练特点: 快方法: 视觉特征提取，无卷积，无region监督视觉语言预训练任务已经提升了许多视觉语言下游任务的表现。现有的视觉语言预训练方法往往很依赖图像的特征提取过程，比如区域的监督（像目标检测）以及卷积的结构（像ResNet）。
多模态论文笔记——ViT、ViLT
haopinglianlian的博客
11-27 1847
本文详细介绍Transformer架构在计算机视觉方面的成功模型，将Transformer引入图像领域：ViT、ViLT。
【深度学习】详解 ViLT
闻韶
12-01 5680
【深度学习】详解 ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision内容理解
乄洛尘
06-25 6614
这篇文章作为一系列多模态理解的第一篇，从这里记录本人研究内容相关话题，期待后来者共同学习，共同进步，也顺便作为笔记备份。
【多模态】25、ViLT | 轻量级多模态预训练模型（ICML2021）
呆呆的猫的博客
08-12 2057
本文主要介绍 ICML2021 ViLT
ViLT：最简单的多模态Transformer
weixin_40920183的博客
05-22 3540
之所以用这一篇作为多模态的开篇是因为这篇清楚的归纳了各种多模态算法，可以当成一个小综述来看，然后还提出了一种非常简单的多模态Transformer方法ViLT。先阐述一下4种不同类型的Vi...
ViLT：一种极简多模态学习框架 Baseline
05-09 1570
ViLT：一种极简多模态学习框架 Baseline
多模态预训练CLIP模型的强大为例
fareise的博客
05-08 3562
微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~ 后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“等获取各个领域干货算法笔记~ 最近在看ACL 2022论文的时候，发现了一篇很有意思的文章：CLIP Models are Few-shot Learners。这个文章标题马上让人联想起GPT3那篇文章Language Models are Few-Shot Learners。CLIP自2021年被提出以来一直是多模.
多模态大模型：技术原理与实战 图像多模态技术
AI天才研究院
06-30 354
多模态大模型：技术原理与实战 图像多模态技术 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在人工智能领域，单一模
图像处理的AI大模型：重塑视觉技术的未来
AI天才研究院
11-12 279
《图像处理的AI大模型：重塑视觉技术的未来》 关键词：AI大模型、图像处理、深度学习、自然语言处理、预训练、图像分割、目标检测、图像增强、去噪。 摘要：本文深
多模态大模型：技术原理与实战 多模态大模型对比
AI天才研究院
07-23 1151
多模态大模型：技术原理与实战 多模态大模型对比 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：多模态大模型，技术原理，实战案例，模型对比，未来趋势 1. 背景介绍
ViLT视觉文本多模态
一叶轻舟博客
08-20 3258
论文精读笔记
ViLT 论文精读【论文精读】
云淡风轻_的博客
11-27 1835
作者上来就说视觉文本的预训练任务，缩写为VLP任务，在过去几年发展的不错，在各种各样的视觉文本的下游任务上都取得了很好的成绩。但是之前的这些方法，为了在那些下游任务上获得很好的结果，大家发现往往你在视觉方面花的精力越多，也就是视觉的网络越复杂、越好，最后的结果就会越好，所以之前大部分的VLP的方法，都非常依赖于图像特征的抽取过程，要么是把它看成是一个目标检测的问题，这里就像图1画的一样，不仅有一个图像backbone，还有一个region operation，所以就很贵。
多模态ViLT模型下游任务微调原理及代码
m0_56722835的博客
05-31 6331
前言： 最近准备搞图文问答VQA， 恰巧多模态任务包括了NLP以及CV领域的知识，由于以前做过的一些项目不知道放到哪了，找起来也很麻烦，这篇论文可以帮助我很好的梳理NLP和CV故事线，对此进行总结，以防自己忘记。代码比较粗糙准备在下一个版本进行改进。 为啥是这篇文章？ 由于本来是学NLP的，所以一开始就接触了有关模型预训练和微调的相关概念。在NLP的世界里，transformer到来之后，出现了Bert模型，这模型可了得，好像大部分任务都可以加载Bert的权重文件并进行微调来达到自己......
【学习笔记】多模态综述
HERODING23的博客
09-20 1055
本篇学习笔记虽然是多模态综述，本质上是对ViLT后多模态模型的总结，时间线为2021年至2022年，在这两年，多模态领域的模型也是卷的飞起，不断刷新领域的SOTA。在模型结构和数据上提出了很多高效有用的方法，如果你对多模态近两年的发展感兴趣，不妨看一看这一篇文章~上述的一系列工作可以总结为上面这张图。本文关于多模态的工作其实是从ViT出发的，之前多模态领域对于图像特征的抽取都需要借助CNN架构的模型和目标检测任务，效率低，性能差。随着ViT提出后，多模态领域终于实现文图框架上的统一，即ViLT工作的诞生。
技术前沿 |【ViLT：一种极简多模态学习框架】
尺小闹的博客
05-22 1161
ViLT作为一种极简多模态学习框架，其强大的性能和简单的架构使其在多模态学习领域具有广泛的应用前景。随着技术的不断发展和应用场景的不断拓展，相信ViLT将会为我们带来更多惊喜和突破。
万字长文解读深度学习——ViT、ViLT、DiT
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
11-10 3681
面试资料收集者之万字长文解读深度学习——ViT、ViLT、DiT
多模态大模型（一）——只用Transformer Encoder的方法(CLIP、ViLT、ALBEF、VLMo)
薛定谔的猫的博客
12-12 1282
总之VLMo还是非常有效的，它在 4 million的数据集上的表现就已经非常亮眼了，它跟 ALBEF去做这种公平对比的时候，是比 ALBEF全线都要高的要 2 到 3 个点，所以算是 significant improvement。
多模态论文笔记ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_44031582的博客
10-08 4407
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision Abstract Vision-and-Language Pre-training(VLP)提高了各种视觉-语言联合的下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大多数涉及region super-vision区域监督（如对象检测）和卷积结构(如ResNet)。虽然在文献中被忽视了，但我们发现两者都有问题（1）效率/速度，
ViLT 模型结构
最新发布
03-20
### ViLT 模型架构详解 ViLT（Vision-and-Language Transformer）是一种基于Transformer的多模态模型，旨在统一处理视觉和语言任务。以下是其主要组成部分及其功能： #### 1. **轻量级视觉输入嵌入** 为了减少计算复杂度并提高效率，ViLT采用了一种简单的线性投影方法来嵌入图像补丁（patches）。这种方法避免了传统卷积神经网络（CNNs）作为视觉特征提取器的需求，从而显著降低了计算开销[^4]。 #### 2. **拼接后的向量表示** 在ViLT中，文本和图像被分别编码成固定长度的向量序列，并通过一种特殊的方式进行拼接。具体来说，经过预处理的文本和图像数据会被转换为具有相同维度的向量形式，最终形成形状为 `[batch_size, text_max_length + 145, 768]` 的张量[^5]。这种设计使得两种不同类型的输入能够无缝融合到同一个Transformer框架下。 #### 3. **Encoder 层的设计** ViLT 的 Encoder 部分遵循 Vision Transformers (ViT) 的经典布局，主要包括以下几个子模块： - **自注意力机制**: 实现于 `ViltSelfAttention` 和 `ViltSelfOutput` 中，负责捕捉全局上下文中各个 token 之间的关系。 - **交叉注意机制**: 第一次黄色加绿色区域对应于此阶段 (`ViltAttention`) ，允许视觉与文字之间相互作用。 - **前馈网络(FFN)**: 黄色加上蓝色部分构成了标准 MLP 结构(`ViltMLP`) ,进一步增强了表达能力。 值得注意的是，由于引入了专门定制化的 Layer ——即所谓的 “VlitLayer”, 用户可以根据实际需求灵活调整堆叠层数以适应不同的应用场景. #### 4. **训练技巧的影响分析** 从实验结果来看，某些常见的 NLP 或 CV 技巧对提升 ViLT 性能的效果并不一致: - Whole Word Masking(WWM): 对整体表现有所改善但幅度较小. - Masked Patch Prediction(MPP): 尝试利用该目标函数改进图片理解效果不佳因此未继续沿用 . - Random Augmentation(RandAugment): 显示出了较为明显的正面贡献.[^3] 综上所述,VILT 不仅继承了 transformer 在单一领域内的强大优势还创造性地解决了跨媒体间协作难题. ```python class ViltModel(nn.Module): def __init__(self, config): super().__init__() self.text_embeddings = nn.Embedding(config.vocab_size, config.hidden_size) self.patch_embeddings = nn.Linear(config.image_patch_dim, config.hidden_size) encoder_layer = nn.TransformerEncoderLayer( d_model=config.hidden_size, nhead=config.num_attention_heads, dim_feedforward=config.intermediate_size, dropout=config.hidden_dropout_prob ) self.encoder = nn.TransformerEncoder(encoder_layer, num_layers=config.num_hidden_layers) def forward(self, input_ids, pixel_values): # Text embeddings text_embeds = self.text_embeddings(input_ids) # Image patch embeddings batch_size, _, height, width = pixel_values.shape patches = rearrange(pixel_values, 'b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1=16, p2=16) image_embeds = self.patch_embeddings(patches) # Concatenate and encode combined_embeds = torch.cat([text_embeds, image_embeds], dim=1) output = self.encoder(combined_embeds.permute(1, 0, 2)) return output.permute(1, 0, 2) ``` 上述代码片段展示了如何构建一个基本版本的 ViLT 模型，其中包含了文本和图像的嵌入过程以及后续的 Transformer 编码操作。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值