MAE(Masked Autoencoders) 详解

已于 2023-06-06 11:41:47 修改
阅读量7.4k 收藏 65
点赞数 17
分类专栏： 机器视觉 深度学习 文章标签： 计算机视觉 人工智能 深度学习 transformer
于 2023-06-01 17:05:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/130977990
版权

MAE详解

0. 引言

masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构，编码器仅仅对可见的patches进行编码，不对mask tokens进行任何处理，解码器将编码器的输出（latent representation）和mask tokens作为输入，重构image；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
下图展示了MAE在ImageNet验证集上的重建结果。对于每个三元组，左边的图像是被遮挡的，中间的图像是MAE重建的，右边的图像是实际的。其中掩蔽率为80%，即在196个patch中只剩下39个对模型可见。可以看出，经过MAE还原后的图像可以大致将原始图像还原出来。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
  • 17
    点赞
  • 踩
  • 65
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
MAE原理与代码实例讲解
禅与计算机程序设计艺术
05-30 777
MAE原理与代码实例讲解 1.背景介绍 1.1 什么是MAE? MAE(Masked Autoencoders)是一种新型的自监督学习方法,由Meta AI研究院于2021年提出。MAE通过对高分辨率图像的大块区域进行掩码,训练编码器捕获掩码区域的信息
MAE简记
椰子奶糖的博客
03-16 4755
MAE简记 文章目录MAE简记Mask 方法EncoderDecoderTarget & LOSSEncoderDecoderTarget & LOSS Mask 方法 将图片分割成不重复的正方形patch，遮挡其中一部分patch(75%) Encoder 采用ViT，但是只对可见的没有被masked的patch使用 Decoder 以encoder的输出+masked的patch作为输入，想要恢复原本的图像 解码器也是用一系列的Transformer Block组成 Tar
当CV遇上transformer(二)MAE模型及源码分析
最新发布
qq_44665283的博客
05-09 1329
当CV遇上transformer(二)MAE模型及源码分析
MAE平均绝对误差和MSE均方误差
shuijinghua的博客
12-26 9814
MAE：Mean absolute error是绝对误差的平均值，能更好的反映预测值误差的实际情况 其中，f_i表示预测值，g_i表示真实值 缺点：若本身真实值就比较大，比如真实值1万，预测值9000，但mae=1000就会造成MAE是比较大的， 如真实值10，预测值9，但mae=1，所以不能单独从MAE的值来说明网络预测能力的好坏。 from sklearn.metrics imp...
MAE 自监督算法介绍和基于 EasyCV 的复现
阿里云云栖号
05-20 2902
简介：自监督学习（Self-Supervised Learning）能利用大量无标注的数据进行表征学习，然后在特定下游任务上对参数进行微调。通过这样的方式，能够在较少有标注数据上取得优于有监督学习方法的精度。近年来，自监督学习受到了越来越多的关注，如Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。在CV领域涌现了如SwAV、MOCO、DINO、MoBY等一系列工作。MAE是kaiming继MOCO之后在自监督学习领域的又一力作。首先，本文会对MA
MAE实战：使用MAE提高主干网络的精度(一)
AI浩
02-04 2734
MAE已经出来有几年了，很多人还不知道怎么去使用，本文通过两个例子说明一下。分两部分，一部分介绍一个简单的例子，让大家了解MAE训练的流程。一部分是一个新的模型，让大家了解如何将自己的模型加入MAE。论文标题： Masked Autoencoders Are Scalable Vision Learners论文地址：https://arxiv.org/abs/2111.06377代码地址：https://github.com/facebookresearch/maeMAE的两个核心设计：参考文章：https
详解何恺明新作MAE：通向CV大模型
极市平台的技术博客
11-29 6396
作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台，转载请获得授权并标明出处。 本文目录 1 MAE 1.1 Self-supervised Learning 1.2 Masked AutoEncoder (MAE) 方法概述 1.3 MAE Encoder 1.4 MAE Decoder 1.5 自监督学习目标函数 Reconstruction Target 1.6 具体实现方法 1.7 ImageNet 实验结果 1.8 masking ratio 对性能的影响 1.9 观察到的一些实验现象 1.
基于MAE的人脸素描图像属性识别和分类
一只博客
07-06 3031
关于MAE的介绍和原理可以参考下面这篇博客【论文和代码阅读】Masked Autoencoders Are Scalable Learners (MAE)_Toblerone_Wind的博客-CSDN博客1. 原文和代码先贴一下MAE的论文链接https://github.com/facebookresearch/maehttps://github.com/facebookresearch/mae紧随其后的是代码复现https://github.com/facebookresearch/maehttps:/
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
Masked Autoencoders
08-20
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的...
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
**MAE论文分享：Masked Autoencoders Are Scalable Vision Learners** 在计算机视觉（CV）领域，Transformer架构的应用已经成为一种趋势，从最初的自然语言处理（NLP）领域成功跨越到图像处理。这篇论文“MAE：...
Masked Autoencoders Are Scalable Vision Learners.pdf
12-31
《Masked Autoencoders Are Scalable Vision Learners》这篇论文探讨了一种新型的自监督学习方法，即Masked Autoencoders（MAE），用于大规模计算机视觉任务。这种方法旨在解决深度学习模型对大量标注数据的依赖问题...
统计学参数详解.docx
09-30
本文将详细解析几个常见的统计学参数，包括方差、标准差、RMS、MSE、RMSE、MAE、MAPE以及MPE。 1. 方差：方差是衡量数据离散程度的重要指标，它计算了每个数据点与均值之差的平方的平均数。在计算时，为了得到无偏...
深度学习：MAE 和 RMSE 详解
南淮北安的博客
10-25 10万+
平均绝对误差MAE（mean absolute error） 和均方根误差 RMSE（root mean squared error)是衡量变量精度的两个最常用的指标，同时也是机器学习中评价模型的两把重要标尺。 那两者之间的差异在哪里？它对我们的生活有什么启示？ 文章目录一、定义二、比较三、应用 一、定义 平均绝对误差MAE（mean absolute error）是绝对误差的平均值，它其实是更一...
MAE源代码理解 part2 ： 预训练调试
YI_SHU_JIA的博客
03-10 1万+
拿MAE预训练模型来分类
预测评价指标RMSE、MSE、MAE、MAPE、SMAPE
热门推荐
藏知阁
02-21 42万+
RMSE 均方根误差（Root Mean Square Error） MSE 均方误差（Mean Square Error） MAE 平均绝对误差（Mean Absolute Error） MAPE 平均绝对百分比误差（Mean Absolute Percentage Error） ...
Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）
nakaizura
02-13 6283
这篇文章主要整理kaiming大神所提出的MAE，和一些有代表性的变体模型。 Masked Autoencoders Are Scalable Vision Learners 在iGPT和BEiT的基础上，化繁为简，找出了最关键的点，能够让BERT式预训练在CV上也能训到很好！ 在预训练期间，大比例的随机的图像块子集（如 75%）被屏蔽掉。编码器用于可见patch的小子集。在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型解码器处理，该解码器以像素为单位重建原始图像。 MAE 是一种简单的自.
深度笔记 - 恺明的MAE（Masked Autoencoders are Scalable Vision Learners）
参谋谋的博客
12-05 3374
概述 已经有很多人写文章做出了对MAE的解读，此处不加赘述，仅仅引用然后做个整理，方便有部分基础的人快速了解和回顾复习。因此可读性会比较差，欢迎提出建议。 原文：Masked Autoencoders are Scalable Vision Learners 简而言之，参考源自NLP中的思想，随机遮蔽（Mask）掉图像中的小块，然后实施图像重建任务。 两个核心使得MAE可以提高大容量模型（例如ViT）的训练效率和准确性： 使用非对称的编码-解码架构，未被遮蔽的图像小块输入编码器，再由一个更轻量的解码器输出
matlab mae
08-20
在MATLAB中，MAE代表平均绝对误差（Mean Absolute Error）。它是一种衡量预测值和真实值之间差异的指标，用于评估回归模型的性能。 计算MAE的方法是将每个预测值与对应的真实值之间的差的绝对值相加，然后再除以观测样本的总数。具体而言，对于N个样本，MAE的计算公式如下： MAE = (1/N) * Σ|预测值 - 真实值| 在MATLAB中，你可以使用meanabs函数来计算MAE。该函数将一个向量或矩阵中的元素绝对值的平均值作为输出。 以下是一个示例，展示如何计算预测值和真实值之间的MAE： ```matlab % 预测值 predictions = [2.5, 4.7, 6.1, 3.8]; % 真实值 groundTruth = [3.0, 4.2, 5.9, 3.2]; % 计算MAE mae = meanabs(predictions - groundTruth); ``` 在这个示例中，我们有一个包含4个预测值和4个真实值的向量。通过计算预测值和真实值之间的差，并使用meanabs函数计算绝对误差的平均值，得到了MAE。最终的结果将存储在变量mae中。 请注意，MAE的值越小，表示模型的预测能力越好，与真实值的差异越小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值