Masked Autoencoders Are Scalable Vision Learners【MAE模型】

已于 2022-05-23 16:30:35 修改
阅读量438 收藏 1
点赞数
分类专栏： 论文 文章标签： 深度学习 自然语言处理 计算机视觉
于 2022-05-19 16:11:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45978916/article/details/124858698
版权

文章目录

Masked Autoencoders Are Scalable Vision Learners

具有位置区块的图片通过自编码模型进行还原

论文连接

摘要

  1. 屏蔽图片中的个别像素点作为模型输入，模型能够修复确实部分
  2. 不对等的encoder-decoder模型，输入部分，获取整体
  3. 通过图片的遮挡覆盖，能够是的模型有效地完成自监督任务

论文

1. 模型结构

1.1 模型大致结构 input encoder decoder target

在这里插入图片描述
image --> masked out 主要针对图片进行部分随机点的选取 --> encoder 输入端为图片的部分小区块子集 --> decoder则是将encoder的输出，尽力复原回原来图片

在后续的模型中，运用到MAE模型时，只需要将训练好的模型的decoder部分丢弃，encoder能够运用在具有一定缺失的图片中。

1.2 图像缺失

在这里插入图片描述

1.3 视觉与自然语言的编码不同之处

1）architectures 结构
视觉项目通常用卷积，NLP主要用循环神经网络，卷积是无法考虑positional，而循环神经网络主要是历史值对现在的影响，Vision Transformers（VIT）就是此方向的运用
2）Information density 信息密度
文字的自编码模型的目的主要是对语言的学习；图片的自编码主要是将缺失的部分根据周围进行填补，需要自编码对整体页面进行全面理解
3）decoder 解码
图片自编码主要输出丢失的图片；NLP主要填补缺失文字，含有丰富的语义信息

1.4 重要部分说明

1）masking 遮挡掩码部分
将图片分割为规则的非重叠的小块，接着进行random sampling进行删除掩盖，将稀疏向量作为encoder的输入
2）MAE encoder
由于我们的输入是稀疏的，所以我们只需要运算整个图片的其中一部分，从而用很少的时间和内存来运行大型的encoder模块
3）MAE decoder
针对输出的部分我们进行空缺填补，对于长向量，我们采用小deocder进行运算
4）reconstruction target 重建目标
deocder的最后一层输出层，全连接计算，最终得到的个数为原图大小的像素块数量，最终deocder输出的便是原图，我们loss function主要通过MSE计算原图与生成的图的差值，在整个计算中，也会计算像素点分布，对每一个patch进行normalize
5）simple implementation 实现流程简单
生成patch --> randomly shuffle 之后，对选取的进行remove --> encoder --> unshuffle后根据原位置进行矫正 --> decoder

掩码比重与准确率的相关关系如下图所示：
在这里插入图片描述
可以发现，在75%覆盖时，准确率最高

2. 后续作者做了消融实验

小胡胡在长沙不想吃辣
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【计算机视觉】MAE：Masked Autoencoder
LJR的博客
03-24 689
MAE ViT patch fine-tune pretrain encoder decoder linear prob 何恺明提出了一种以编码器模型为骨架（backbone）、以自然语言模型 BERT 中完形填空（MLM）为学习策略的一种用于计算机视觉任务的可扩展（规模可变）的自监督学习模型 Masked AutoEncoders（MAE）。本质上，MAE 是一种在小数据集上高效训练大模型且保证大模型具有良好的泛化能力的自监督预训练方法，目的是训练大型编码器模型。
大火的何恺明：MAE——用于计算机视觉的可扩展自监督学习神器
limingmin2020的博客
03-18 6622
作者：王浩 毕业于北京航空航天大学，人工智能领域优质创作者，CSDN博客认证专家 首发：公众号【3D视觉开发者社区】 导语： 近期，何铠明的新作可谓是火出了圈，毕竟何佬出品必是精品，由何佬提出的的ResNet、Faster RCNN等模型一直被大家学习和研究。如今，何铠明又带来一种用于计算机视觉的可扩展自监督学习器, 称之为”掩码自编码器 (MAE) “，本文将对该视觉学习器原理及实现方法进行解读。 Masked Autoencoders Are Scalable Vision Learners 论文.
【无监督】2、MAE | 自监督模型提取的图像特征也很能打！（CVPR2022 Oral）
呆呆的猫的博客
08-14 1185
本文主要介绍 CVPR2022 Oral MAE 方法
自监督语义分割面模型——(MAE)论文阅读与代码解析
qq_41627642的博客
07-17 1441
本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习算法。我们屏蔽输入图像的随机补丁并重建缺失的像素。它基于两个核心设计。首先，我们开发了一个非对称编码器-解码器架构，其中一个编码器仅对补丁的可见子集(没有掩码令牌)进行操作，以及一个轻量级解码器，该解码器从潜在表示和掩码令牌重建原始图像。其次，我们发现掩盖输入图像的高比例，例如75%，产生了一个重要的和有意义的自我监督任务。这两种设计的结合使我们能够高效地训练大型模型:我们加速了训练(3倍或更多)并提高了准确性。
基于MAE的人脸素描图像属性识别和分类
一只博客
07-06 2932
关于MAE的介绍和原理可以参考下面这篇博客【论文和代码阅读】Masked Autoencoders Are Scalable Learners (MAE)_Toblerone_Wind的博客-CSDN博客1. 原文和代码先贴一下MAE的论文链接https://github.com/facebookresearch/maehttps://github.com/facebookresearch/mae紧随其后的是代码复现https://github.com/facebookresearch/maehttps:/
【论文阅读】MAE模型介绍
aixiaomi123的博客
11-30 7510
关于MAE模型
人工智能培训老师讲师叶梓：计算机视觉领域的自监督学习模型——MAE-1
人工智能前沿分享
01-28 3061
计算机视觉领域的自监督学习模型——MAE 主讲: 叶梓 P1-P2 AutoEncoder n自动编码器是一种无监督的神经网络模型，它可以学习到输入数据的隐含特征，这称为编码(coding)，同时用学习到的新特征可以重构出原始输入数据，称之为解码(decoding)。 n自动编码器可以用于特征降维，类似主成分分析PCA，但是其相比PCA其性能更强，这是由于神经网络模型可以提取更有效的新特征。 DAE（Denoising AutoEncoder） n强制自编码器学习有用特征...
详解何恺明新作MAE：通向CV大模型
极市平台的技术博客
11-29 5979
作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台，转载请获得授权并标明出处。 本文目录 1 MAE 1.1 Self-supervised Learning 1.2 Masked AutoEncoder (MAE) 方法概述 1.3 MAE Encoder 1.4 MAE Decoder 1.5 自监督学习目标函数 Reconstruction Target 1.6 具体实现方法 1.7 ImageNet 实验结果 1.8 masking ratio 对性能的影响 1.9 观察到的一些实验现象 1.
基于CIFAR数据集 进行 MAE实现及预训练可视化 （CIFAR for MAE，代码权重日志全部开源，自取）
风信子的猫Redamancy的快乐星球
04-21 3174
基于CIFAR数据集 进行 MAE实现及预训练可视化 （CIFAR for MAE，代码权重日志全部开源，自取） MAE for CIFAR，由于可用资源有限，我们仅在 cifar10 上测试模型。我们主要想重现这样的结果：使用 MAE 预训练 ViT 可以比直接使用标签进行监督学习训练获得更好的结果。这应该是自我监督学习比监督学习更有效的数据的证据。
【深度学习】详解 MAE
热门推荐
闻韶
12-01 1万+
【深度学习】详解 MAE - Masked Autoencoders Are Scalable Vision Learners
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
Masked Autoencoders Are Scalable Vision Learners.pdf
12-31
论文:Masked Autoencoders Are Scalable Vision Learners
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
MAE论文阅读汇报ppt，组会可参考
Masked Autoencoders
08-20
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的...
ConvMAE: Masked Convolution Meets Masked Autoencoders 预训练权重
05-26
ConvMAE: Masked Convolution Meets Masked Autoencoders 预训练权重
[机器学习与scikit-learn-51]：模型评估-图解回归模型的评估指标MSE、MAE、RMSE、R2、RSS与代码示例
文火冰糖（王文兵）的博客
04-26 9530
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址： 目录 前言： 第1章 残差residual error 1.1 残差的定义 1.2 残差的数学表达式 1.3 残差计算的几何图形 1.4 残差数值的几何图形 1.5 残差分析 1.6 残差的意义： 第2章 平均绝对误差（mean absolute error, MAE）- L1损失 2.1 概述 2.2 MAE的数学表达式 2.3 MAE误差的几何含义 2.4 MAE的函数图
成为AI产品经理——回归模型评估（MSE、RMSE、MAE、R方）
m0_54231818的博客
12-04 1321
回归问题模型评估指标：1.MSE 2.RMSE 3.MAE 4.R方
MAE(Masked Autoencoders) 详解
走在深度学习前沿的小宋
06-01 6872
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
遥感图像的深度学习的任务类型
最新发布
weixin_42605076的博客
05-31 464
遥感图像的深度学习任务涉及广泛的应用领域和技术方法，通过使用卷积神经网络（CNN）、生成对抗网络（GAN）等先进的深度学习模型，能够有效提升遥感数据的处理和分析能力，支持各类环境监测、资源管理、灾害应对等实际需求。
masked autoencoders are scalab
03-16
le and efficient unsupervised learning models that can be used for various tasks such as data compression, feature extraction, and anomaly detection. They are particularly useful for dealing with high-dimensional data and can be trained on large datasets. Masked autoencoders have been widely used in machine learning and have shown promising results in many applications.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值