【计算机视觉】MAE：Masked Autoencoder

已于 2023-05-03 23:21:28 修改
阅读量783 收藏 4
点赞数 5
分类专栏： 【NLP & CV】 文章标签： 计算机视觉 人工智能 深度学习 transformer 神经网络
于 2023-03-24 22:02:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/129759337
版权
MAE是一种自监督学习模型，借鉴了自然语言处理中的BERT，用于计算机视觉任务。它通过随机遮盖图像的patch并进行重建来训练大型编码器。在预训练阶段，模型只处理未遮盖的patch，解码器则负责重建被遮盖的部分。实验证明，高遮盖比例和非对称架构提高了效率和准确性，使得在小数据集上训练大型模型成为可能。在微调阶段，只对编码器进行微调，无需解码器。MAE在图像恢复和预训练方面表现出色，尤其是在高遮盖比下，且相比其他预训练方法，能有效减少训练时间和资源。
摘要由CSDN通过智能技术生成

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
【自然语言处理】Transformer 讲解
【自然语言处理】BERT 讲解
【计算机视觉】ViT：Vision Transformer 讲解

由于暂时不了解 BEiT、dVAE 和 DALLE，所以本文没有介绍论文中关于三者的内容。

MAE

1. 模型概述

何恺明提出了一种以编码器模型为骨架（backbone）、以自然语言模型 BERT 中完形填空（MLM）为学习策略的一种用于计算机视觉任务的可扩展（规模可变）的自监督学习模型 Masked AutoEncoders（MAE

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不牌不改
关注
专栏目录
订阅专栏
MAE(Masked Autoencoders) 详解
走在深度学习前沿的小宋
06-01 8264
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
时隔两年，CV大神何恺明最新一作：视觉预训练新范式MAE！大道至简！
机器学习算法与Python学习
11-14 578
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路新智元报道CV大神何恺明又出力作！团队提出MAE模型，将NLP领域大获成功的自监督预训练模式用在了计算机视觉任务上，...
MAE（论文阅读）：Masked Autoencoders are scalable vision learners
最新发布
m0_54248968的博客
07-21 1091
本文主要介绍了掩码自编码器( MAE, Masked autoencoders)是视觉领域中可扩展的自监督学习算法。MAE具体操作为随机屏蔽输入image中的patchs，再重建丢失的像素。其基于两个核心操作。第一个是建立不对称的编码器-解码器架构，编码器只对没有屏蔽掉的patchs操作，轻量化的解码器通过潜在表示和屏蔽令牌重建原始图像。第二是发现了一种屏蔽图像patchs的高比例，比如75%。结合这两个操作使我们能够高效地训练大模型，加速了训练过程且提高了准确率。在下游任务的迁移性优于有监督的预训练。
【论文精读】MAE：Masked Autoencoders Are Scalable Vision Learners 带掩码的自动编码器是可扩展的视觉学习器
weixin_47748259的博客
03-24 2351
使用纯注意力机制的编码器结构在机器翻译任务上比RNN架构更好Bert：基于transformer编码器的架构，将transformer拓展到更一般的NLP任务上面使用了完形填空的自监督训练机制，不需要使用标号，而是通过预测一个句子中看不见的masked的词，从而获取对文本特征的抽取的能力，所以Bert可以在大规模的，没有标号的数据上，训练出很好的模型（Bert预测的东西相对简单，所以其解码器就是最后那一个全连接输出层）Vit：可以理解成transformer在图像方面的应用。
深度学习之图像分类（十二）Masked Autoencoders Are Scalable Vision Learners（MAE）详解
m0_46521375的博客
10-31 2530
本文表明，掩蔽自动编码器（MAE）是一种可扩展的计算机视觉自监督学习器。我们的MAE方法很简单：我们屏蔽输入图像的随机patch，并重建缺失的像素。它基于两个核心设计。首先，我们开发了一种非对称编码器——解码器架构，编码器仅对patch的可见子集（没有掩模标记）进行操作，轻量级解码器从潜在表示和掩模标记重建原始图像。第二，我们发现掩蔽高比例的输入图像，例如75%，产生了重要且有意义的自我监督任务。耦合这两种设计使我们能够高效和有效地训练大型模型：我们加速了训练（3倍或更多）并提高了准确性。
一文解读Masked Autoencoder(MAE)
热门推荐
abbcdc的博客
04-02 2万+
如果说Vision Transformer是Transformer在CV领域的拓展，那么Masked Autoencoder就是BERT在CV领域的拓展。MAE使用类似于BERT的掩码机制，从图片中随机抹去一些像素，并让模型通过已知像素去构建未知像素，从而迫使模型学习图像中的特征。实验证明：MAE具有很好的像素重构能力。
[MAE]Masked Autoencoders掩膜自编码器
luemeon的博客
06-20 4638
目录非对称的编码-解码架构：方法 流程编码器解码器Partial Fine-tuning随机遮盖输入图片的子块，重建丢失像素由MAE预训练的模型具有很好的泛化性能编码器的输入为没有被mask的子块；解码器为轻量级（解码器仅在图像重建的预训练中起作用，因此解码器设计可独立于编码器，且灵活和轻量级），输入为编码器的输入和被mask部分的位置信息，输出为待重建的丢失像素的值。与经典自编码器不同之处在于：采用了非对称设计，使编码器仅依赖于 部分观测信息 (无需掩码token信息，BERT需要)，轻量解码器则直接与
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
PyTorch笔记 - MAE(Masked Autoencoders) PyTorch源码
Mystra
12-20 2139
掩码的自编码器是可扩展的视觉学习器MAE结构：ViT的不同类型：An Image is worth 16X16 words: Transformers for Image recognition at scale。
论文解读（MGAE）《MGAE: Masked Autoencoders for Self-Supervised Learning on Graphs》
虚幻私塾
06-18 615
MAE 在图上的应用。整体框架：本文的掩藏目标是随机掩藏一部分（30%）边，然后考虑 GCN、GraphSage 作为主干网络提取特征信息，对于被掩藏的边将通过 Decoder 训练得到。掩藏策略：注意：上述两种策略边掩藏率是设置一样的。由于Encoder 采用的是基于消息传递机制的 Encoder，所以最终只得到被保留部分的节点潜在嵌入。Encoder KKK 层传播结构共生成的保留节点嵌入矩阵 {H(1),H(2),⋯,H(K)}{H(1),H(2),⋯,H(K)}\left{\mathbf{H}^{(
MAE (Masked AutoEncoder)：更快！更强！还更简单
人工智能曾小健
07-09 638
本文介绍了在 CV 领域进入 Transformer 时代时具有里程碑意义的方法 MAE，通过随机 Mask 掉图片中较高比例 Patch，然后重构这些 Patch 的像素值，使我们能通过 Self-Supervised Pretraining 方式来预训练图像 Encoder 模型。与传统的 AutoEncoder 不同的是，MAE 采用了非对称设计：Encoder 仅在部分观测到的信号上操作（无需掩码标记），并采用轻量级 Decoder，从潜在表示和掩码标记中重构完整信号。
Masked Auto Encoder总结
hello world 的博客
11-02 1797
基于MAE的掩码图像预测，复现 凯明 论文
Mask autoencoder的代码解读
weixin_45193103的博客
10-18 474
一个是编码器，编码器的输入是image和mask的ratio，也就是对于输入的img来进行mask。然后输出是latent和mask和ids_restore，这个latent应该就是hidden feature，这个mask就是生成的mask。mask，发生的是在patch后面，也就是说，不是在原图上mask，而是在新的hidden feature上进行mask。forward encoder的过程，输入是x也就是图像，mask 比例就是mask的比例。也就是encoder的时候，输入的是mask后的x。
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1347
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
Kaiming He 论文阅读笔记一——Masked Autoencoders
蓝鲸鱼的博客
08-05 1052
第二个亮点是使用了非对称的encoder-decoder结构，encoder仅输入可见的图像子集（不输入masked token），配备一个轻量级的decoder，decoder的输入仍然保持全部图像。如图所示为Masked Autoencoder的结构，建立在BEIT的基础上，BEIT通过将输入图像分割为Patch，mask其中部分子图像之后，线性链接并将得到的token输入给encoder（vision transformer）。实验表明更大的mask比可以取得更好的效果。...
Masked Autoencoders Are Scalable Vision Learners
qihshe的博客
09-20 144
本文证明了MAE是一种可扩展的计算机视觉自监督学习器方法
【点云处理之论文狂读前沿版7】—— Masked Autoencoders for Point Cloud Self-supervised Learning
yuanmiyu6522的博客
05-22 2469
Masked Autoencoders for Point Cloud Self-supervised Learning摘要1.引言 摘要 灵感： NLP和CV中的Masked Autoencoder应用很成功 问题： 点云中存在局部信息缺失和密度不均匀的现象 方法： 使用Masked Autoencoder进行点云自监督学习 细节： ①将输入的点云划分成不规则的点云块，以较高的比率 mask 这些块 ②使用基于autoencoder的标准transformer从这些未被mask的块中学习高维特征，从而重
masked autoencoder
09-15
Masked Autoencoder (MAE)是一种在计算机视觉领域中基于BERT的拓展模型。它采用类似于BERT的掩码机制，通过随机遮蔽图像中的一些像素，并利用已知像素来构建未知像素，从而迫使模型学习图像中的特征。MAE的架构包括一个Encoder和一个Decoder。Encoder将像素信息映射为语义空间中的特征向量，而Decoder则根据特征向量重构原始像素。MAE的训练过程中使用了自监督方式，即模型只使用不那么大规模的数据集进行预训练，但仍能达到较好的效果。该模型在图像重构任务上表现出很好的像素重构能力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值