MAE——「Masked Autoencoders Are Scalable Vision Learners」

最新推荐文章于 2022-12-07 16:50:24 发布
最新推荐文章于 2022-12-07 16:50:24 发布
阅读量1.6k 收藏
点赞数
分类专栏： # NLP与推荐系统 文章标签： masked encoder mae
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43332715/article/details/123990466
版权

这次，何凯明证明让BERT式预训练在CV上也能训的很好。

论文「Masked Autoencoders Are Scalable Vision Learners」证明了 masked autoencoders（MAE） 是一种可扩展的计算机视觉自监督学习方法。

这项工作的意义何在？

讨论区

 

 

Reference

MAE 论文逐段精读【论文精读】_哔哩哔哩_bilibili //视频

MAE 论文逐段精读【论文精读】 - 哔哩哔哩 //笔记

CV大神何恺明最新一作：视觉预训练新范式MAE！下个CV大模型要来

MAE阅读笔记 - 知乎 

思考实践
关注
专栏目录
MAE(Masked Autoencoders) 详解
走在深度学习前沿的小宋
06-01 8276
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
iwill323的博客
12-21 4131
李沐精读论文：MAE 《Masked Autoencoders Are Scalable Vision Learners》
【Masked Autoencoders Are Scalable Vision Learners】
hollyprince的博客
12-07 640
本文证明了，在CV领域中，Masked Autoencoders（MAE）是一种scalable的自监督学习器。MAE方法很简单：我们随机mask掉输入图像的patches并重建这部分丢失的像素。它基于两个核心设计。首先，我们开发了一种非对称的encoder-decoder结构，其中，encoder仅在可见的（即没有被mask的）patches子集上运行，同时还有一个轻量级decoder，用于从潜在表示和masked tokens重建原始图像。
Masked Autoencoders
不要錯過才珍惜
12-28 690
在 ViT 模型中我们也知道了他想要有超过 CNN 的效果的话就需要在超大数据集上进行预训练，在 ImageNet 1K 的效果其实并没有 ResNet 好。这样的话，如果我们需要重新对 ViT 进行训练的话，他的效率是不高的。于是这篇 MAE 在 ViT 的方法上进行了优化，让我们能够在 ImageNet 1K 上也取得较好的效果。当然我们也可以简单的把 MAE 理解为 CV 界的 BERT 模型。下图就简单的介绍了 MAE 的操作是怎么样的。
论文阅读“Masked Autoencoders Are Scalable Vision Learners”(CVPR2022)
qq_43497436的博客
07-24 1039
使用了一个非对称的自编码器设计，编码器是ViT，解码器是一个浅层模型，这种不对称的设计还是非常新颖的，还有将mask作为一个任务的思想。
【翻译】 Masked Autoencoders Are Scalable Vision Learners
jokerwu192的博客
12-25 454
文章目录摘要1.介绍2.相关工作3.方法4.Imagenet实验4.1. 主要属性4.2. 与之前结果的比较4.3. 局部微调5.迁移学习实验6.讨论与结论 论文链接：https://arxiv.org/pdf/2111.06377v3.pdf 摘要 本文表明，掩码自编码器(MAE)是用于计算机视觉的可扩展自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机块并重建丢失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器只对可见的补丁子集进行操作（没有掩码标记），
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
**MAE论文分享：Masked Autoencoders Are Scalable Vision Learners** 在计算机视觉（CV）领域，Transformer架构的应用已经成为一种趋势，从最初的自然语言处理（NLP）领域成功跨越到图像处理。这篇论文“MAE：...
Masked Autoencoders Are Scalable Vision Learners.pdf
12-31
《Masked Autoencoders Are Scalable Vision Learners》这篇论文探讨了一种新型的自监督学习方法，即Masked Autoencoders（MAE），用于大规模计算机视觉任务。这种方法旨在解决深度学习模型对大量标注数据的依赖问题...
MAE：Masked Autoencoders Are Scalable Vision Learners(带掩码的自编码器是可扩展的学习器)论文阅读
道阻且长
05-09 1057
MAE：Masked Autoencoders Are Scalable Vision Learners论文阅读
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 4647
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
Kaiming He 论文阅读笔记一——Masked Autoencoders
蓝鲸鱼的博客
08-05 1054
第二个亮点是使用了非对称的encoder-decoder结构，encoder仅输入可见的图像子集（不输入masked token），配备一个轻量级的decoder，decoder的输入仍然保持全部图像。如图所示为Masked Autoencoder的结构，建立在BEIT的基础上，BEIT通过将输入图像分割为Patch，mask其中部分子图像之后，线性链接并将得到的token输入给encoder（vision transformer）。实验表明更大的mask比可以取得更好的效果。...
Masked Autoencoders Are Scalable Vision Learners（MAE）
Pain is inevitable but suffering is optional.
04-05 792
Masked Autoencoders Are Scalable Vision Learners
[Transformer]MAE:Masked Autoencoders Are Scalable Vision Learners
qq_37151108的博客
11-17 2471
MAE：可扩展的视觉学习器
AbstractSection I IntroductionSection II Related WorkSection III MethodSection IV ImageNet ExperimentsPart 1Main PrepertiesPart 2 Comparison ResultsSection V Transfer LearningSection VI Discussion and Conclusion From Fackbook AI Research Aut
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1348
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
MaskedAutoencoders视觉学习器CVPR2022
白景屹的博客
07-14 1070
本文表明，掩码自编码器（MAE）是可扩展的计算机视觉自监督学习器。MAE很简单：我们随机屏蔽输入图像的patches，并重建这些缺失的像素。它基于两个核心设计。首先，我们开发了一种非对称编码器-解码器架构，其中编码器仅在可见的patch子集上运行（没有掩码token），以及一个轻量级解码器，该解码器从隐含表示和掩码token重建原始图像。其次，我们发现mask高比例的输入图像（例如75%）会产生重要而有意义的自监督效果。耦合这两种设计使我们能够高效地训练大型模型。我们的可扩展方法允许学习泛化性良好的大型模型
【论文笔记】 【MAE】 Masked Autoencoders Are Scalable Vision Learners
weixin_44866655的博客
03-27 3963
MAE论文笔记
【读点论文】Masked Autoencoders Are Scalable Vision Learners 完型填空应用到视觉处理上
白水空空
03-17 1226
Masked Autoencoders Are Scalable Vision Learners 本文表明，掩蔽自动编码器(MAE)是计算机视觉的可扩展自监督学习器。 本文的MAE方法很简单:通过屏蔽输入图像的随机碎片，并重建丢失的像素。它基于两个核心设计。 首先，开发了一个非对称的编码器-解码器架构，其中一个编码器只对可见的补丁子集进行操作(没有掩码标记)，另一个轻量级解码器从潜在表示和掩码标记中重建原始图像。 第二，发现遮蔽高比例的输入图像，例如75%，产生了非平凡且有意义的自我监督任务。
（七十六）：Masked Autoencoders Are Scalable Vision Learners
Wangzx的博客
12-25 4217
Masked Autoencoders Are Scalable Vision LearnersAbstract1. Introduction2. Related Work3. Method4. ImageNet Experiments4.1. Main Properties4.2. Comparisons with Previous Results4.3. Partial Fine-tuning5. Transfer Learning Experiments6.Discussion and Conclus
Vision Transformer优势
最新发布
09-01
综上所述，Vision Transformer（ViT）在模型设计上与Transformer结构一致，并且借鉴了Masked Autoencoders Are Scalable Vision Learners（MAE）的思想，同时具备了Transformer模型的优势，使得ViT在计算机视觉任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值