Raki的读paper小记：SimVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION

已于 2022-09-02 16:15:09 修改
阅读量844 收藏 1
点赞数
分类专栏： 读paper Multimodal 文章标签： 深度学习 人工智能 自然语言处理 计算机视觉 bert
于 2022-08-16 20:49:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raki_j/article/details/126372983
版权

Abstract&Introduction&Related Work

  • 研究任务
    大规模端到端弱监督Visual Language Model
  • 已有方法和相关工作
    • 面临挑战标注数据的规模有限，为了提高性能，引入了各种特定于任务的辅助损失，这些设计选择使VLP的预训练范式复杂化，为进一步提高质量造成了瓶颈
    • 基于预训练-finetune的模型缺少zero-shot的能力
    • 之前的工作都是基于特定的任务上，很依赖于目标检测模型和数据
    • 最近的一些研究也探索了没有目标检测模块的VLP，但它们仅使用小规模的纯预训练数据，因此其zero-shot能力有限
  • 创新思路
    • 通过仅利用弱对齐图像-文本对上的语言建模目标，显著简化了VLP
    • 仅仅使用了language model 的 loss
  • 实验结论
    在判别和生成的vision-language benchmarks都达到了sota
    在这里插入图片描述

SimVLM

MLM风格的预训练已在以前的VLP模型中广泛采用，其中输入是图像-文本对，模型需要通过利用图像ROI（region-of-interest）特征来预测Masked Token

或者，单向语言建模（LM）训练模型，以在正向自回归因子分解下直接最大化序列x的可能性：
在这里插入图片描述

PROPOSED OBJECTIVE: PREFIX LANGUAGE MODELING

受LM损失预训练引入的zero-shot能力的启发，我们提出使用Prefix Language Modeling (PrefixLM)预处理视觉-语言表示

PrefixLM不同于标准语言模型，因此它允许对前缀序列进行双向注意力（例如，等式（3）中的x< T p T_p Tp​ ），并且仅对剩余的token（例如，x）进行自回归因子分解≥式（3）中的 T p T_p Tp​）。在预训练期间，长度为（随机选择的） T p T_p Tp​ 的token前缀序列从输入序列中截断，训练目标变为：
在这里插入图片描述
直观地说，图像可以被视为其文本描述的前缀，因为它们通常出现在web文档中的文本之前。因此，对于给定的图像-文本对，我们将长度为 T i T_i Ti​ 的图像特征序列预先添加到文本序列中，并强制该模型对长度为 T p T_p Tp​ 的前缀进行采样≥ T i T_i Ti​ 仅计算文本数据上的语言模型损失如图1
在这里插入图片描述
与以前的MLM风格的VLP方法相比，我们在序列到序列框架下的PrefixLM模型不仅享有MLM中的双向上下文表示，而且可以执行类似于LM的文本生成

使用transformer做骨干网络

与标准LM不同，PrefixLM支持前缀序列内的双向注意力，因此它仅适用于decoder和encoder-decoder seq2seq语言模型。在我们的初步实验中，我们发现编码器-解码器模型引入的inductive bias将编码与生成解耦，有助于改善下游任务

将三维的图片
在这里插入图片描述
展平成一维的patch作为transformer的输入
在这里插入图片描述
D是固定的transformer的隐藏层大小

T i T_i Ti​ = H W P 2 \frac{HW}{P^2} P2HW​ is the length of the image tokens for a given patch size P.

我们使用由前三个ResNet块组成的卷积来提取上下文patch，其优于ViT中使用的朴素线性投影（相当于1×1 Conv层）

对于文本模态，我们遵循标准实践将输入句子分词为sub-word token，并针对固定词汇学习嵌入

为了保留位置信息，我们分别为图像和文本输入添加了两个可训练的1D position embedding，此外，我们还为transofrmer层内的图像块添加了2D相对注意力

Experiments

由于我们的方法不依赖于对象检测模块，仅使用原始图像块输入，因此我们使用大规模有噪图像文本数据从头开始预训练所有模型参数，这对于zero-shot泛化具有更好的潜力

另一方面，我们的PrefixLM公式是模态无关的，因此我们可以另外包括纯文本语料库，以补偿alt文本数据中的噪声文本监督。正如我们后面的实验所示，这种统一的PrefixLM公式减少了模态差异，提高了模型质量

与以往由两个预训练阶段和多个辅助目标组成的VLP方法相比，我们的模型只需要一次预训练，使用端到端的单语言建模损失，因此被称为SimVLM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

Conclusions

在这项工作中，我们提出了一个简单而有效的视觉语言预训练框架。与以前使用object proposal systems和辅助损失的工作不同，我们的模型将整个图像处理为patches，并使用单前缀语言建模目标进行端到端训练

我们的工作为现有的VLP范式提供了一个很有前途的替代方案，我们希望我们的工作能够启发生成VLP的未来研究

Remark

特别简单并且work的好工作，属于多模态的奠基工作，好！

爱睡觉的Raki
关注
专栏目录
SIMVLM：简单视觉语言模型，SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION
梁瑛平的博客
10-15 1166
@[TOC]（SIMVLM: SIMPLE VISUAL LANGUAGE MODEL PRETRAINING WITH WEAK SUPERVISION） 论文地址： [https://arxiv.org/abs/2108.10904]（https://arxiv.org/abs/2108.10904） 主要工作： 随着视觉和文本表示联合建模的最新进展，视觉-语言预训练（VLP）在许多多模态下游任务上取得了令人印象深刻的性能。然而，对昂贵的注释的要求，包括干净的图像标题和区域标签，限制了现有方法的可伸缩性
SimVLM：拒绝各种花里胡哨！CMU&Google提出弱监督极简VLP模型，在多个多模态任务上性能SOTA...
我爱计算机视觉
09-02 674
关注公众号，发现CV技术之美本文介绍论文『SimVLM: Simple Visual Language Model Pretraining with Weak Supervision』，由...
大模型算法岗面试题系列（二）| prefix LM 和 causal LM 区别是什么?
最新发布
Code1994的博客
07-29 1148
Prefix LM通常指在给定一个文本前缀的情况下，模型能够基于这个前缀生成接下来的文本内容。
【自然语言处理】【多模态】SIMVLM：基于弱监督的简单视觉语言模型预训练
bqw的博客
05-28 1931
SIMVLM：基于弱监督的简单视觉语言模型预训练 《SIMVLM：Simple Visual Language Model Pre-training with Weak Supervision》 论文地址：https://arxiv.org/pdf/2108.10904.pdf?ref=https://githubhelp.com 一、简介 ​ 基于Transformer\text{Transformer}Transformer的自监督文本表示学习已经在广泛的NLP\text{NLP}NLP任务上取得了st
CMU&Google 提出弱监督极简 VLP 模型，SimVLM，拒绝各种花里胡哨！
AI从入门到实践的博客
09-06 488
本文介绍论文『SimVLM: Simple Visual Language Model Pretraining with Weak Supervision』，由 CMU&Google 提出弱监督极简 VLP 模型，SimVLM，拒绝各种花里胡哨！在多个多模态任务上性能 SOTA。 详细信息如下： 论文链接：https://arxiv.org/abs/2108.10904 项目链接：尚未开源 导言： 随着视觉和文本表示联合建模的进展，视觉语言预训练(VLP)在许多多模态下游任务上取得了非常好的性能。
多模态 Generalized Visual Language Models
迈微AI研习社 · 号主
09-06 702
点击上方“迈微AI研习社”，选择“星标★”公众号重磅干货，第一时间送达多年来，人们一直在研究处理图像以生成文本，例如图像字幕和视觉问答。传统上，此类系统依赖对象检测网络作为视觉编码器来捕获视觉特征，然后通过文本解码器生成文本。鉴于现有的大量文献，在这篇文章中，我想只关注解决视觉语言任务的一种方法，即扩展预训练的通用语言模型以能够消费视觉信号。我将此类视觉语言模型 (VLM) 大致分为四个类别：将图...
递归变分网络：加速MRI重建
732递归变分网络：应用于加速MRI重建Geor geYiasemis1，2，Jan-Jak obSonk e1，ClarisaSa'nchez2，JonasTeuwen1，21荷兰癌症研究所，2阿姆斯特丹大学{g.yiasemis，j.sonke，j.teuwen} @ nki.nl，{c.i....
GrappaNet: 深度学习与多线圈MRI重建
14315GrappaNet：将并行成像与深度学习结合用于多线圈MRI重建AnuroopSriram 1JureZbontar 1TullieMurrell 1C.劳伦斯·齐特尼克1亚伦·德法齐奥1丹尼尔·K. Sodickson21Facebook AI Research（FAIR）2纽约大学医摘要...
Mathematica软件包：数据填补技术对个人总收入的精确分析和粗略计算
软件影响13（2022）100380原始软件出版物Mathematica中作为数据填补技术的精确分析粗略计算米蒂亚？乔克？托马什·特克什卢布尔雅那大学经济和商业学院，卡尔德。图版17，摩羯座，ColombiaA R T I C L E I N F O保留...
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 4002
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
Problem:求两数之间所有的素数
weixin_52092817的博客
12-21 312
求两数之间所有的素数 #include<stdio.h> #include<stdlib.h> #include<math.h> int main() { int a,b,t,i,j; scanf("%d %d",&a,&b); if(a>b) { t=a; a=b; b=t; } for(i=a;i<=b;i++) { for(j=2;j<=(int)sqrt(i);j++) { if(i%j==0) break; }
大语言模型架构设计
liguandong
05-21 1597
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
综述 | 最新视觉-语言预训练综述
zenRRan的博客
03-03 611
每天给你送来NLP技术干货！来自：人工智能前沿讲习论文标题：VLP: A Survey on Vision-Language Pre-training论文链接：https://arxiv....
预训练语言模型概述（持续更新ing...）
诸神缄默不语的博客
10-08 1609
本文介绍预训练语言模型。
字节跳动李航：人工智能需要新的范式和理论
Kaiyuan_sjtu的博客
12-12 405
作者|李航整理|机器之心本文首先通过字节跳动人工智能实验室的一些研究成果介绍最前沿的人工智能技术，总结这一两年来人工智能领域的研究发展动态。之后本文分享了对人工智能领域长期发展的看法。前言冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机和人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制，为未来建立统一的计算理论打下基础。事实上，建立计算机和人脑的统一计算理论是冯 ...
VLP: A Survey on Vision-Language Pre-training 论文总结
yingdajun的博客
03-30 4634
VLP: A Survey on Vision-Language Pre-training VLP：视觉语言预训练研究综述 论文地址: https://arxiv.org/pdf/2202.09061.pdf 摘要: 在过去几年中，训练前模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单峰领域带入了一个新时代。大量工作表明，它们有利于下游单峰任务，避免从头开始训练新模型。那么，这种预先训练好的模型可以应用于多模式任务吗？研究人员已经探索了这个问题，并取得了重大进展。本文综述了视觉语言预训练（VLP）
大模型面试问题记录
hellozhxy的博客
02-24 1043
在训练过程中，模型会学习这些符号的嵌入表示。INT8提供更高的压缩比，可以显著减少模型的内存占用和带宽需求，但由于量化过程中的信息损失，可能会对模型的准确性产生一定影响。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。知识蒸馏是一种模型压缩技术，其中一个大型的、表现良好的模型（教师模型）被用来训练一个小型的模型（学生模型）。微调后的模型出现能力劣化，灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识，而忽略了通用的语言知识。
谷歌&HuggingFace| 零样本能力最强的语言模型结构
夕小瑶科技说
06-23 823
文 | iven从 GPT3 到 Prompt，越来越多人发现大模型在零样本学习（zero-shot）的设定下有非常好的表现。这都让大家对 AGI 的到来越来越期待。但有一件事让人非常疑惑：19 年 T5 通过“调参”发现，设计预训练模型时，Encoder-Decoder 的模型结构 + MLM 任务，在下游任务 finetune 效果是最好的。可是在 2202 年的当下...
多模态模型学习策略
qq_35215756的博客
03-26 1196
多模态模型的学习策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值