多模态之论文笔记BEiT, BEiT V2, BEiT V3

已于 2023-09-15 09:46:04 修改
阅读量2k 收藏 4
点赞数
分类专栏： 多模态大模型 文章标签： 人工智能 深度学习 论文阅读
于 2023-06-29 14:34:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/131455906
版权
该博客详细介绍了微软关于多模态预训练模型的研究，包括BEiT、BEiT V2和BEiT V3。BEiT使用图像Transformer进行BERT预训练；BEiT V2引入了VQ-KD和patch聚合技术，提升图像分类和语义分割任务的效果；BEiT V3则提出了多路Transformer和Masked Data Modeling，适用于各种视觉和视觉语言任务。
摘要由CSDN通过智能技术生成

文章目录


Overview

BLIP model

BEiT

1.0. Summary

题目: BEiT: BERT Pre-Training of Image Transformers
机构：微软
论文: https://arxiv.org/abs/2106.08254
代码：https://github.com/microsoft/unilm/tree/master/beit
任务: CV的BERT，图像单模态预训练
特点:
方法:
前置相关工作：BERT

1.1. BEiT VS BERT

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
专栏目录
订阅专栏
极智Paper | 性能数据炸裂的多模态模型BEiT-3：Image as a Forign Language
极智视界
08-30 1030
大家好，我是极智视界，本文解读一下 性能数据炸裂的多模态模型 BEiT-3：Image as a Forign Language。
【论文笔记】BEIT V2: Masked Image Modeling with Vector-Quantized Visual Tokenizers
weixin_50862344的博客
06-25 1790
当时的所有的重建目标都是关于低级图像元素的，低估了高级语义。【Q】怎么去定义高级和低级语义。
【多模态】BEiT v2
vivid
06-26 645
链接：https://arxiv.org/pdf/2208.06366论文：BEIT V2: Masked Image Modeling with Vector-Quantized Visual Tokenizers。
【多模态】BEiT V3：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
最新发布
vivid
06-27 579
论文：Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks链接：https://arxiv.org/pdf/2208.10442。
【多模态】paper阅读笔记：BEiT V3
weixin_43071505的博客
12-26 1050
再加上本文提出的将图像视为一种语言的方式，可直接复用已有的大规模语言模型的预训练方法，从而更有利于视觉基础模型的扩大。对应之前提到的，这三方面的统一概念了解后，就能知晓big convergence的相关概念早已存在，即大模型发展成熟的几项条件：一是 Transformers 成为不同领域和问题的通用神经网络架构和建模方式，二是生成式预训练（generative pre-training）成为最重要的自监督学习方法和训练目标，三是数据和模型参数的规模化（scaling up）进一步释放基础模型的潜力。
Visual预训练模型：BEiT、BEiT v2
十里清风
03-18 1681
基于的双向编码、自监督视觉表征模型，使用任务进行预训练。图1为预训练过程。，利用以自编码的方式训练，以将图片切分为离散的visual tokens。，图像有image patches和visual tokens两种表示，首先将图片大小缩放至224x224，以网格法分割成14x14的patches，每个patch的大小为16x16,。随机掩盖部分image patches，即图中灰色的patches替换为[M]
超越所有MIM模型的BEiT v2来了！微软使用矢量量化视觉Tokenizers的掩码图像建模！
努力努力再努力的小马
08-29 1541
在本文中，作者提出了向量量化知识蒸馏（VQ-KD）来训练视觉Transformer预训练的视觉标记器。VQ-KD 离散化连续语义空间，为mask图像建模提供监督，而不是依赖图像像素。语义视觉标记器极大地改进了 BEIT 预训练并显着提高了下游任务的传输性能。此外，引入了 CLS token预训练机制，以明确鼓励模型生成全局图像表示，缩小补丁级预训练和图像级表示聚合之间的差距。......
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 1844
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读
AIgraphX
01-13 1458
BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。
【李沐论文精读】多模态论文串讲（上）和（下）精读
Emily的博客
03-17 1540
在多模态学习之前都是Oscar或者Uniter等这些工作，他们的缺陷都是因为里面用了一个Object Detection的模型去做视觉特征的抽取，太慢且太贵了。所以在出来之后，ViLT的作者就想到可以把vision部分用Vision Transformer去代，就一个Embedding层，这样一来大大简化了模型结构。，是ICML21的工作）CLIP。
多模态论文串讲：ALBEF & VLMo & BLIP & CoCa & Beit V3
林宋的搬砖流水账
04-25 1040
image text matching loss(ITM Loss)：经由fc layer，实际上是一个二分类loss，判断一个【text，image】是不是一对数据，但实际训练中，会有大量的分类结果为否的情况，使得ITM Loss看起来很低，但实际并不一定起到足够的效果。因此，从ITC对比学习计算的cosine distance中选择和真实样本距离最近的（最难分辨的，称之为hard negatives)，用于ITM loss训练；损失函数：2个IT，2个MLM，1个ITM。
论文解读：(BEIT-3)Image as a Foreign Language: BEIT Pretraining for All Vision and Vision-Language Tasks
weixin_50917576的博客
04-25 1553
语言、视觉和多模态预训练的大融合正在出现。在这项工作中，我们介绍了一个通用的多模态基础模型BEIT-3，它在视觉和视觉语言任务上实现了最先进的迁移性能。具体来说，我们从主干架构、预训练任务和模型扩展三个方面推进了大收敛。我们介绍了用于通用建模的多路Transformers，其中模块化体系结构支持深度融合和特定于模态的编码。基于共享主干，我们以统一的方式对图像(英语)、文本(英语)和图像-文本对(“平行句”)执行掩码“语言”建模。
BEIT-3论文阅读笔记
hollyprince的博客
12-11 109
BEIT-3 使用掩码数据建模的方式，借助 Transformer 这一方便处理图片和文本的模型架构，统一进行训练，在多个纯视觉任务和视觉-文本任务中都取得了 SOTA 性能。
#今日论文推荐# BeiT v2 来袭 | BeiT升级，全面超越 MAE，实现 Vision Transformer 微调自由
w1hsxn的博客
08-17 595
BeiT升级！！！
BEIT-3杂谈
lt1103725556的博客
08-30 902
论文中没有给具体的预训练方法图，大概就参考上面这张Beit的图吧，Beit-3就是变成了多模态输入。跟MAE很像，主要区别在他不是还原像素、text，而是。因为MLM方法不一定需要图像-文本对，所以可以利用现有的标注较好的公开数据集，而CLIP的数据由网络采集，难免很多噪声。看到这篇的人应该都知道这篇文章的多任务SOTA结果了，我就不放那张披萨图了。至于token是怎么来的，还得再看两篇文章，等我后面再补。（2）token重建或许比原始data重建更好？...
#今日论文推荐# 超越所有MIM模型的BEiT v2来了，微软使用矢量量化视觉Tokenizers的掩码图像建模
w1hsxn的博客
08-31 326
蒙面图像建模 (MIM) 通过恢复损坏的图像patch，在自监督表示学习中展示了令人印象深刻的结果。然而，大多数方法仍然对低级图像像素进行操作，这阻碍了对表示模型的高级语义的利用。
BEiT-3论文阅读笔记
qq_37662375的博客
09-01 3448
BEiT-3论文阅读笔记
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值