Masked Autoencoders As Spatiotemporal Learners

已于 2023-10-22 14:27:56 修改
阅读量160 收藏 1
点赞数 1
分类专栏： 论文笔记 文章标签： 人工智能 深度学习
于 2023-09-17 22:11:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qihshe/article/details/132951201
版权

在这里插入图片描述

文章目录


原文链接

Abstract

本文研究了掩码自编码器(MAE)在概念上的简单扩展到基于视频的时空表征学习。
我们发现我们的MAE方法可以在几乎没有时空归纳偏差的情况下学习强表示(除了补丁和位置嵌入)，并且时空不可知的随机掩蔽表现最好
我们观察到最优掩蔽比高达90%(图像上为75%)
我们观察到MAE可以在很大程度上优于监督预训练

Introduction

为了统一方法论，针对特定问题引入更少的领域知识(“更少的归纳偏差”)，这促使模型几乎只从数据中学习有用的知识。
MAE预训练极大地提高了泛化性能
在Kinetics-400数据集上，比从零开始提高了ViT-Large 13%的精度，并且它需要训练的时间更少
自然图像的信息冗余度比语言图像高，因此最优掩蔽比更高
我们的MAE预训练可以大大优于有监督的预训练
在这里插入图片描述

Related Work

经验表明，高掩蔽比对图像任务至关重要
masking ratio 90%

  1. original video (top)
  2. masked video (middle)
  3. MAE output (bottom)
    masking ratio 95%

a：与时空无关的随机抽样
b：仅空间随机抽样，广播到所有时间步长
c：仅时间随机抽样，广播到所有空间位置
d：基于快的采样
我们的自动编码方法在像素上操作，它更简单，并且不需要额外的数据或标记器上的领域知识。
重要的是，我们的方法大大提高了学习的效率。
实际的加速对于视频相关的研究至关重要，因为视频相关的研究通常规模更大，更耗时。

Method

我们的方法是将MAE简单地扩展到时空数据
我们的目标是在一个通用和统一的框架下开发该方法，并尽可能少地使用领域知识

Patch embedding

根据原始ViT，将视频片段在时空上划分为一个不重叠的带补丁的规则网格，再经过linear projection和位置嵌入，patch和posttional embeding是唯一具有时空感知的过程

Masking

8×14×14
最佳掩蔽比与数据的信息冗余度有关
我们观察到的最佳掩蔽比为90%。

Autoencoding

• encoder采用vanilla ViT，decoder采用比encoder小的vanilla ViT，大约1/20
• 原则上可以简单地预测一个完整的时空patch（t×16×16），但我们发现预测patch的单个时间片（16×16）就足够了，这使预测层的大小保持可控；
• 训练损失函数是预测与其目标之间的均方误差(MSE)，在未知patch上取平均值

Implementation

Data pre-processing

我们的默认输入大小是16帧，每帧224×224像素(即16×224×224)，从原始视频中采样16帧，采样时间步长为4，随机采样起始帧。
我们的MAE预训练计算速度非常快，数据加载成为我们设置中支配运行时间的新瓶颈

Architecture

encoder and decoder都是采用vanilla ViT结构，且encoder采用可分离位置embedding

Settings

我们使用AdamW优化器批大小为512，通过端到端微调来评估预训练质量

Experiments

Performance

MAE预训练加上微调比从头开始训练更准确、更快
在这里插入图片描述
MAE预训练速度快，因为它的编码器只应用在可见patch的稀疏集上，没有mask token
在这里插入图片描述

Ablation experiments

90%的ratio效果最好，如果训练时间够长95%的ratio表现会出奇的好
在这里插入图片描述
在这里插入图片描述
Mask sampling：与时空无关的采样效果最好
Reconstruction target：使用per-patch归一化的pixel作为重建目标最好
Data augmentation：空间增强是没必要的
Repeated sampling：采用4倍的Repeated sampling表现最佳
Decoder width/depth：在dim 512 和4 block时表现最佳

Influence of Data

Transfer learning ablation

在视频上进行MAE预训练对这些视频任务非常有益
在这里插入图片描述

Real-world data

随着数据集的增大，IG-curated表现优于K400预训练
在这里插入图片描述

Conclusion

(i)我们发现用最小的领域知识或归纳偏差学习强表示是可能的
(ii) masking ratio是一般掩蔽自编码方法的一个重要因素，其最优值可能取决于数据的性质(语言、图片、视频等)
(iii)我们报告了对真实世界、未经整理的数据进行预训练的令人鼓舞的结果
仍存在的问题：
我们所探索的数据规模比对应的语言要小几个数量级，虽然我们的方法在很大程度上提高了自监督学习的效率，但高维视频数据仍然是扩展的主要挑战

怎么全是重名
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Masked Autoencoders Are Scalable Vision Learners.pdf
12-31
论文:Masked Autoencoders Are Scalable Vision Learners
MAE论文分享，MAE：Masked Autoencoders Are Scalable Vision Learners
04-18
MAE论文阅读汇报ppt，组会可参考
Masked Autoencoders
08-20
masked autoencoders (MAE) 是用于CV的自监督学习方法，优点是扩展性强的（scalable），方法简单。在MAE方法中会随机mask输入图片的部分patches，然后重构这些缺失的像素。MAE基于两个核心设计：（1）不对称的（asymmetric）编码解码结构，编码器仅仅对可见的patches进行编码，不对mask tokens进行任何处理，解码器将编码器的输出（latent representation）和mask tokens作为输入，重构image；（2）使用较高的mask比例（如75%）。MAE展现了很强的迁移性能，在ImageNet-1K上取得了best accuracy（87.8%），且因为方法简单，可扩展性极强（scalable）。
image masked _labview图像_MaskEd_
10-03
构建图像蒙版以及使用它蒙版图像的一部分。
Masked Autoencoders Are Scalable Vision Learners (MAE)代码样例
05-27
解压后得到test文件夹，在下面的网址中下载预训练后的模型 https://dl.fbaipublicfiles.com/mae/visualize/mae_visualize_vit_large.pth 将其移动到test/demo中，进入demo文件夹，运行demo.py文件即可
论文阅读 ：Masked Autoencoders As Spatiotemporal Learners
qq_42740834的博客
03-07 736
研究动机：深度学习趋向于使用统一方法解决不同领域问题，Bert在nlp，MAE在图像上取得了不错成果，因此作者将MAE扩展到video上做spatiotemporal表征
Masked Autoencoders As Spatiotemporal Learners精读笔记
Leon_____的博客
02-08 696
Masked Autoencoders As Spatiotemporal Learners精读笔记
Kaiming He 论文阅读笔记一——Masked Autoencoders
蓝鲸鱼的博客
08-05 977
第二个亮点是使用了非对称的encoder-decoder结构，encoder仅输入可见的图像子集（不输入masked token），配备一个轻量级的decoder，decoder的输入仍然保持全部图像。如图所示为Masked Autoencoder的结构，建立在BEIT的基础上，BEIT通过将输入图像分割为Patch，mask其中部分子图像之后，线性链接并将得到的token输入给encoder（vision transformer）。实验表明更大的mask比可以取得更好的效果。...
《预训练周刊》第47期：屏蔽自编码器、结构化知识注入预训练、ERNIE 3.0
BAAIBeijing的博客
05-25 576
No.47智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了11篇预训...
ConvMAE: Masked Convolution Meets Masked Autoencoders 预训练权重
05-26
ConvMAE: Masked Convolution Meets Masked Autoencoders 预训练权重
MAE_st（何凯明）代码复现问题列表
m0_52836796的博客
05-23 931
问题六：ImportError: cannot import name 'COMMON_SAFE_ASCII_CHARACTERS' from 'charset_normalizer.constant' (C:\Users\admin\.conda\envs\xmj_torch\lib\site-packages\charset_normalizer\constant.py)问题七：No module named 'torch.fb'问题四：No module named 'timm'
Masked Image Modelling（MAE，iBOT，Data2vec，SimMIM，CAE，BEVT）
nakaizura
02-13 6165
这篇文章主要整理kaiming大神所提出的MAE，和一些有代表性的变体模型。 Masked Autoencoders Are Scalable Vision Learners 在iGPT和BEiT的基础上，化繁为简，找出了最关键的点，能够让BERT式预训练在CV上也能训到很好！ 在预训练期间，大比例的随机的图像块子集（如 75%）被屏蔽掉。编码器用于可见patch的小子集。在编码器之后引入掩码标记，并且完整的编码块和掩码标记集由一个小型解码器处理，该解码器以像素为单位重建原始图像。 MAE 是一种简单的自.
Masked AutoEncoders (MAE)代码学习
m0_57842528的博客
03-05 686
本人学习所用，主要是对MAE模型官方（facebookresearch）实现代码进行一些注释。注释参考chatGPT。
探秘Facebook Research的新宠：Masked Autoencoder（MAE）
gitblog_00043的博客
03-20 330
探秘Facebook Research的新宠：Masked Autoencoder（MAE） 项目地址:https://gitcode.com/facebookresearch/mae 在深度学习领域，预训练模型已经成为了自然语言处理和计算机视觉任务的强大基础。最近，Facebook Research推出了一种新的视觉预训练模型——Masked Autoencoder (MAE)，它在自我监督学...
强化学习——学习笔记3
qq_52302919的博客
05-29 1583
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
智能降重：AI去痕工具如何帮助学生通过论文检测
最新发布
Malcolmpaper的博客
06-04 394
AI去痕技术为学术写作带来了革新。它通过智能分析和重构论文内容，有效降低AI代写论文的可检测性。这项技术特别适用于那些在主题、结构或语言上可能与现有文献相似的论文，通过人工降痕和AI降痕相结合的方法，可以显著降低AIGC疑似度，确保论文的原创性和学术诚信。AI去痕不仅提升了学术写作的质量，也为学术界带来了新的思考。
AI降痕工具使用指南：如何有效降低AIGC疑似度
Lindapaper的博客
06-04 205
AI去痕技术正悄然改变学术写作的面貌。它通过消除AI代写论文中的明显特征，如强逻辑词汇和过于规整的句子结构，帮助作者创造出更加自然、流畅的学术作品。这项技术的应用，不仅提高了论文的原创性，还增强了学术诚信，使学术界的发展更加健康和可持续。AI去痕，作为学术界的隐形守护者，正在为学术写作的原创性和创新性保驾护航。
AI Agent：人类工作范式的颠覆者还是人机协作新范式？
Baihai_IDP的博客
05-29 811
生成式 AI 只是人工智能发展的开端，未来可能会出现更先进的 AI 智能体系统（AI Agent），我们应当重视 Andrew Ng（译者注：Andrew Ng 是斯坦福大学计算机科学系和电气工程系的客座教授，曾任斯坦福人工智能实验室主任。作者相信人工智能的未来必将呈现出更智能、更自主的 AI Agent 形态。但是 AI Agent 强调的是综合智能，包括但不限于决策制定、环境交互和跨领域的知识应用，这样的智能系统能够适应更复杂的任务需求，并在与人的交流合作中展现出更强的灵活性和实用性。
masked autoencoders are scalab
03-16
le and efficient unsupervised learning models that can be used for various tasks ... Masked autoencoders have been widely used in machine learning and have shown promising results in many applications.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值