多模态之论文笔记BEiT, BEiT V2, BEiT V3

已于 2023-09-15 09:46:04 修改
阅读量2.5k 收藏 6
点赞数
分类专栏： 多模态大模型 文章标签： 人工智能 深度学习 论文阅读
于 2023-06-29 14:34:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/131455906
版权
该博客详细介绍了微软关于多模态预训练模型的研究，包括BEiT、BEiT V2和BEiT V3。BEiT使用图像Transformer进行BERT预训练；BEiT V2引入了VQ-KD和patch聚合技术，提升图像分类和语义分割任务的效果；BEiT V3则提出了多路Transformer和Masked Data Modeling，适用于各种视觉和视觉语言任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


Overview

BLIP model

BEiT

1.0. Summary

题目: BEiT: BERT Pre-Training of Image Transformers
机构：微软
论文: https://arxiv.org/abs/2106.08254
代码：https://github.com/microsoft/unilm/tree/master/beit
任务: CV的BERT，图像单模态预训练
特点:
方法:
前置相关工作：BERT

1.1. BEiT VS BERT

了解本专栏 订阅专栏 解锁全文 超级会员免费看
51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读
AIgraphX
01-13 1693
BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。
极智Paper | 性能数据炸裂的多模态模型BEiT-3：Image as a Forign Language
极智视界
08-30 1174
大家好，我是极智视界，本文解读一下 性能数据炸裂的多模态模型 BEiT-3：Image as a Forign Language。
【多模态】paper阅读笔记：BEiT V3
weixin_43071505的博客
12-26 1265
再加上本文提出的将图像视为一种语言的方式，可直接复用已有的大规模语言模型的预训练方法，从而更有利于视觉基础模型的扩大。对应之前提到的，这三方面的统一概念了解后，就能知晓big convergence的相关概念早已存在，即大模型发展成熟的几项条件：一是 Transformers 成为不同领域和问题的通用神经网络架构和建模方式，二是生成式预训练（generative pre-training）成为最重要的自监督学习方法和训练目标，三是数据和模型参数的规模化（scaling up）进一步释放基础模型的潜力。
【论文笔记】BEIT V2: Masked Image Modeling with Vector-Quantized Visual Tokenizers
weixin_50862344的博客
06-25 2228
当时的所有的重建目标都是关于低级图像元素的，低估了高级语义。【Q】怎么去定义高级和低级语义。
【多模态】BEiT V3：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
最新发布
vivid
06-27 773
论文：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks链接：https://arxiv.org/pdf/2208.10442。
Visual预训练模型：BEiT、BEiT v2
十里清风
03-18 2008
基于的双向编码、自监督视觉表征模型，使用任务进行预训练。图1为预训练过程。，利用以自编码的方式训练，以将图片切分为离散的visual tokens。，图像有image patches和visual tokens两种表示，首先将图片大小缩放至224x224，以网格法分割成14x14的patches，每个patch的大小为16x16,。随机掩盖部分image patches，即图中灰色的patches替换为[M]
BEIT: BERT Pre-Training of Image Transformers论文解读
qq_45041871的博客
02-08 2334
本文介绍了一种自监督视觉表示模型BEIT，即图像transformer的双向编码器表示。继自然语言处理领域开发的BERT之后，我们提出了一个掩码图像建模任务来预训练vision transformer。具体来说，每张图像在我们的预训练中有两个视图，即image patch和visual token。我们首先将原始图像“tokenize”为视觉标记。然后我们随机屏蔽一些图像补丁，并将它们输入transformer骨干网络。预训练的目标是根据损坏的图像补丁恢复原始visual token。
【多模态】BEiT v2
vivid
06-26 904
链接：https://arxiv.org/pdf/2208.06366论文：BEIT V2: Masked Image Modeling with Vector-Quantized Visual Tokenizers。
0381-极智论文-解读BEiT-3-多模态模型
04-27
0381_极智论文_解读BEiT-3_多模态模型
一文搞懂多模态：BeiT-3之前的14个多模态+4个周边原理解读
qq_17827079的博客
03-14 1449
在人工智能的世界里，多模态学习不断地展现出其重要性。这个领域的迅速发展不仅促进了不同类型数据之间的深度融合，还为机器理解世界提供了更加丰富和细腻的视角。随着科技的不断演进，人工智能模型已经开始渐渐具备处理和理解从文本、图像，到声音乃至视频等多种类型数据的能力。
超越所有MIM模型的BEiT v2来了！微软使用矢量量化视觉Tokenizers的掩码图像建模！
努力努力再努力的小马
08-29 1920
在本文中，作者提出了向量量化知识蒸馏（VQ-KD）来训练视觉Transformer预训练的视觉标记器。VQ-KD 离散化连续语义空间，为mask图像建模提供监督，而不是依赖图像像素。语义视觉标记器极大地改进了 BEIT 预训练并显着提高了下游任务的传输性能。此外，引入了 CLS token预训练机制，以明确鼓励模型生成全局图像表示，缩小补丁级预训练和图像级表示聚合之间的差距。......
#今日论文推荐# BeiT v2 来袭 | BeiT升级，全面超越 MAE，实现 Vision Transformer 微调自由
w1hsxn的博客
08-17 684
BeiT升级！！！
【论文及代码详解】BEIT: BERT Pre-Training of Image Transformers
丑小鸭
02-20 2315
【论文及代码详解】BEIT: BERT Pre-Training of Image Transformers
BEIT-3杂谈
lt1103725556的博客
08-30 1004
论文中没有给具体的预训练方法图，大概就参考上面这张Beit的图吧，Beit-3就是变成了多模态输入。跟MAE很像，主要区别在他不是还原像素、text，而是。因为MLM方法不一定需要图像-文本对，所以可以利用现有的标注较好的公开数据集，而CLIP的数据由网络采集，难免很多噪声。看到这篇的人应该都知道这篇文章的多任务SOTA结果了，我就不放那张披萨图了。至于token是怎么来的，还得再看两篇文章，等我后面再补。（2）token重建或许比原始data重建更好？...
多模态论文串讲：ALBEF & VLMo & BLIP & CoCa & Beit V3
林宋的搬砖流水账
04-25 1398
image text matching loss(ITM Loss)：经由fc layer，实际上是一个二分类loss，判断一个【text，image】是不是一对数据，但实际训练中，会有大量的分类结果为否的情况，使得ITM Loss看起来很低，但实际并不一定起到足够的效果。因此，从ITC对比学习计算的cosine distance中选择和真实样本距离最近的（最难分辨的，称之为hard negatives)，用于ITM loss训练；损失函数：2个IT，2个MLM，1个ITM。
论文解读：(BEIT-3)Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
weixin_50917576的博客
04-25 2399
语言、视觉和多模态预训练的大融合正在出现。在这项工作中，我们介绍了一个通用的多模态基础模型BEIT-3，它在视觉和视觉语言任务上实现了最先进的迁移性能。具体来说，我们从主干架构、预训练任务和模型扩展三个方面推进了大收敛。我们介绍了用于通用建模的多路Transformers，其中模块化体系结构支持深度融合和特定于模态的编码。基于共享主干，我们以统一的方式对图像(英语)、文本(英语)和图像-文本对(“平行句”)执行掩码“语言”建模。
BEIT-3论文阅读笔记
hollyprince的博客
12-11 281
BEIT-3 使用掩码数据建模的方式，借助 Transformer 这一方便处理图片和文本的模型架构，统一进行训练，在多个纯视觉任务和视觉-文本任务中都取得了 SOTA 性能。
ICLR 2022 | BEIT论文解读：将MLM无监督预训练应用到CV领域
fareise的博客
03-26 4753
介绍Vision Transformer最新工作BEiT以及和历史工作的对比
【论文精读】BEiT
weixin_44934783的博客
02-15 1255
BEiT
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值