论文阅读 ：Masked Autoencoders As Spatiotemporal Learners

最新推荐文章于 2024-02-25 22:36:01 发布
最新推荐文章于 2024-02-25 22:36:01 发布
阅读量826 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42740834/article/details/129377617
版权
该研究将MaskedAutoencoders(MAEs)的概念从图像扩展到视频领域，通过时空随机遮挡策略进行预训练，证明了这种方法在视频表征学习上的有效性。与先前的视频MAE方法相比，本文提出的时空无关遮挡策略更优，且需要较少的领域知识。实验显示，高比例的遮挡（如90%）可以取得最佳效果，且模型在不同的数据集上表现出对mask比率的敏感性。
摘要由CSDN通过智能技术生成

NeurIPS2022——Masked Autoencoders As Spatiotemporal Learners

Keywords： Videos；object detection；

文章目录

研究动机

深度学习趋向于使用统一方法解决不同领域问题，Bert在nlp，MAE在图像上取得了不错成果，因此作者将MAE扩展到video上做spatiotemporal表征

kaiming组，和上一个videoMAE类似，区别在于本文的spacetime-agnostic masking是时空随机的，而不是上文的tube-masking并消融证明时空随机更优。编码器解码器的结构也和videomae一致。

本文贡献

  1. 消融证明spacetime-agnostic masking更优
  2. 尽量少的领域知识或者归纳偏见就能学到强的representation —— transformer、vit
  3. mask ratio 是一个重要的超参数，并且不同数据种类有很大不同

Introduction & Related work

深度学习趋向使用统一的方法解决不同领域问题（语言、视频、声音），可促使模型几乎完全从数据中学习有用的知识

  1. transformer：图像和语言领域都取得不错成果。
  2. SSL：BERT中的denoising/masked autoencoding methodology被证明是有效的
  3. 引入更少的领域知识（归纳偏见），促使模型纯粹地从数据中学习有用的知识

Denosing autoencoder：DAE

从损坏的输入中重建干净的信号。提出学习表示的通用方法。

  1. NLP： BERT是其很成功的发展

  2. CV：迁移了很多NLP的方法。特别是transformer

  3. iGPT： pixel as a token
    ViT： patch as a token

重建：

  1. MAE： pixel

  2. BEiT： token（dVAE tokenizer ）
    （dVAE 可以通过perceptual or adversarial losses 来提升）

    在这里插入图片描述

  3. MaskFeat ：HoG作为预测目标是很有效的。
    如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？

在这里插入图片描述

SSL on Video：

时间维度是视频数据自监督学习的重点：

相关主题包括时间相干性（‘slowness’）[79, 25]，未来预测 [61, 72, 70, 45, 44, 71, 16]，对象运动 [1, 75, 49, 76]，时间排序 [46 , 23, 38, 78, 81]，时空对比 [58, 62, 30, 22, 51, 56] 等。

但是， 本文使用的方法在很大程度上和时空无关（前面强调好多遍了）

视频数据使用掩码方法，之前也有人在做 [65, 73, 77]。

但是， 本文更简单（重建像素）、更少的领域知识。而且本文更省计算。

整体架构：

随机mask视频中的时空patch，并学习自动编码器来重建它们

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ESY4iSdn-1678156935694)(C:%5CUsers%5C%E7%8E%8B%E4%B8%80%E4%BA%8C%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20230306160402774.png)]

Patch embedding

原始ViT给一段video clip，在时空维度上分割为不重叠的patch并拉平经过linear projection，再加入position embedding。此处强调，patch和pos embeding是唯一具有时空相关性的过程（只需要很少的归纳偏置）。

Masking

本文使用图a策略，采用随机的spacetime-agnostic sampling，相比其他方式将更为高效，并且90%最佳

b：tube masking——只是空间随机，传播到全部时间上

c：frame masking——只是时间随机，传播到所有空间位置

d：cube masking——在时空中基于块的采样，去除较大区域

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8lGNNFo7-1678156935696)(C:%5CUsers%5C%E7%8E%8B%E4%B8%80%E4%BA%8C%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20230307092627391.png)]

Autoencoding

  • Encoder：vaniila ViT；
  • Decoder：更小的vaniila ViT，因为decoder需要处理的token的复杂度小于encode（约1/20）
  • Patch prediction：原则上可以简单地预测一个完整的时空patch（t×16×16），但在实践中发现预测patch的单个时间片（16×16）就足够了，这使预测层的大小保持可控；
  • Training loss：MSE，在unknown patches上取平均值。

Experiment Data pre-processing

默认16 frames，224 * 224： 起始帧随机抽，然后时间维度上步长4抽取16帧。

空间维度：random crop 和 random horizontal flipping。

patch 切分：

使用 temporal patch size : 2，spatial patch size : 16 * 16—— 2 * 16 * 16

对于 input ：16 * 224 * 224，将会产生的patch数目是：8 * 14 * 14个tokens

pos embedding：

Encoder——separable positional embeddings

我们有两个位置嵌入，一个用于空间，另一个用于时间，时空位置嵌入是它们的和。这种可分离的实现可以防止位置嵌入在3D中变得太大。

我们使用 learnable positional embeddings ;sin-cos变量[67]的工作原理类似。

setting：

batchsize：512
optim：AdamW

可视化及结果：

masking ratio = 90% 第一行为原视频，中间为masked video，下一层为MAE output

The video size 为16×224×224，the spacetime patch size 为2×16×16

Each sample has 8×14×14=1568 tokens with 156 being visible.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7XLI8iPm-1678156935697)(C:%5CUsers%5C%E7%8E%8B%E4%B8%80%E4%BA%8C%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20230306162907057.png)]

90%的masking ratio表现最好

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HmdwFKga-1678156935697)(C:%5CUsers%5C%E7%8E%8B%E4%B8%80%E4%BA%8C%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20230307101554940.png)]

Ablation experiments

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3LSyIt0V-1678156935698)(C:%5CUsers%5C%E7%8E%8B%E4%B8%80%E4%BA%8C%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5Cimage-20230307101624445.png)]

Conclusion

本文有几个观察结果：

  • 尽量少的领域知识或者归纳偏见就能学到强的representation —— transformer、vit
  • mask ratio 是一个重要的超参数，并且不同数据种类，有很大不同。
  • 对真实世界未经整理的数据进行预训练，令人鼓舞的结果（ins的实验）

高维视频数据仍然是扩展的主要挑战

Related

视频多模态预训练/检索模型
怎么看待Masked Autoencoders as spatiotemporal learners?

JWangwen
关注
专栏目录
「Masked Autoencoders」MAE算法相关及后续工作整理
weixin_43745234的博客
04-07 1551
(MAE, Kaiming He et al.)由于其从丰富的未标记数据中学习有用表示的能力而重新引起了人们的兴趣。直到最近，MAE及其后续工作已经推进了最先进的技术，并在研究(特别是视觉研究)中提供了有价值的见解。在这里，列出了MAE之后或同时进行的几项后续工作，以启发未来的研究。
SORA大模型的一点分析与理解
pku_langzi的博客
02-18 312
简要分析SORA的技术博客
Masked Autoencoders As Spatiotemporal Learners精读笔记
Leon_____的博客
02-08 797
Masked Autoencoders As Spatiotemporal Learners精读笔记
Masked Autoencoders As Spatiotemporal Learners
Hekena的博客
06-12 717
(a): 随机抽样是与空间时间无关的。(b): 仅限空间的随机抽样，广播到所有的时间步骤（"管子 "屏蔽[77]）。©: 仅限时间的随机抽样，广播到所有空间位置（"框架 "掩蔽[77]）。在mask的比例设置上，根据信息的冗杂度，在文本上bert是使用了15% ，在图片数据上是使用了75%，在视频video数据集上是使用了90%。BERT[15]对语言使用15%的掩蔽率，MAE[31]对图像使用75%的掩蔽率，这表明。基本思想是重构，使用的类似于BERT的mask 然后reconstruct的方式。
Kaiming He 论文阅读笔记一——Masked Autoencoders
蓝鲸鱼的博客
08-05 1041
第二个亮点是使用了非对称的encoder-decoder结构，encoder仅输入可见的图像子集（不输入masked token），配备一个轻量级的decoder，decoder的输入仍然保持全部图像。如图所示为Masked Autoencoder的结构，建立在BEIT的基础上，BEIT通过将输入图像分割为Patch，mask其中部分子图像之后，线性链接并将得到的token输入给encoder（vision transformer）。实验表明更大的mask比可以取得更好的效果。...
《预训练周刊》第47期：屏蔽自编码器、结构化知识注入预训练、ERNIE 3.0
BAAIBeijing的博客
05-25 627
No.47智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了11篇预训...
何恺明团队的“视频版本MAE”，高效视频预训练！Mask Ratio高达90%时效果也很好！...
我爱计算机视觉
06-10 209
关注公众号，发现CV技术之美本篇文章分享论文『Masked Autoencoders AsSpatiotemporal Learners』，由何恺明团队提出视频版本的 MAE，进行高效视频预训练！Mask Ratio 高达 90% 时效果很好！详细信息如下：论文链接：https://arxiv.org/abs/2205.09113项目链接：尚未开源 01...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7176
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
Masked AutoEncoders（MAE) Top-1准确率87.8%
m0_63642362的博客
12-04 1343
一种可扩展的计算机视觉自监督学习方法：MAE（masked autoencoders），Paddle版。
深度学习之Autoencoder
hero_fantao的专栏
04-22 2614
告诉大家什么是Autoencoder？ 他的形式有哪几种？ 对于Autoencoder，相信大家开始听到这个名字并熟悉是因为深度学习火起来后。由于深度神经网络网络层数越来越多，反向传播算法（BP）在模型参数学习时候十分容易陷入局部最小和梯度消散，使得模型训练难度增大。Autoencoder正式因为这样的原因而被引入到深度学习中，通过先预训练的方式来缓解BP的一系列问题。
完整阅读 何凯明最新一作：Masked Autoencoders Are Scalable Vision Learners
u014546828的博客
11-25 3731
在自然语言处理 (NLP) 中，对数以百万计数据的应用，已经通过自监督的预训练模型 (如 BERT) 成功地解决了。本文提出的 masked autoencoders (MAE)是一种可扩展的计算机视觉自监督学习器。本文核心思想：对输入图像的随机块进行 mask，然后重建缺失的像素。本文的核心方法是，提出了一个非对称的编码器-解码器体系结构，发现 mask 输入图像的高比例，会产生一个重要的且有意义的自监督任务。
SORA技术报告
最新发布
Pencilhj的博客
02-25 513
OpenAI官方SORA技术报告
OpenAI-Sora：60s超长长度、超强语义理解、世界模型。浅析文生视频模型Sora以及技术原理简介
Kindred6的博客
02-18 1862
1. Sora的训练受到了大语言模型（Large Language Model）的启发。这些模型通过在互联网规模的数据上进行训练，从而获得了广泛的能力。Sora是一种扩散模型，它能够通过从一开始看似静态噪声的视频出发，经过多步骤的噪声去除过程，逐渐生成视频。Sora不仅能够一次性生成完整的视频，还能延长已生成的视频。通过让模型能够预见多帧内容，团队成功克服了确保视频中的主体即便暂时消失也能保持一致性的难题。与GPT模型类似，Sora采用了Transformer架构，从而实现了卓越的性能扩展。
深度解析Sora的核心技术
安静的软件工程师
02-20 4017
深度解析Sora的核心技术
Sora技术报告: Video generation models as world simulators作为世界模拟器的视频生成模型
页页读
02-23 562
在推理时，我们可以通过在适当大小的网格中排列随机初始化的patch来控制生成视频的大小。我们将 Sora 与将所有训练视频裁剪为正方形的模型版本进行比较，这是训练生成模型时的常见做法。随着训练计算的增加，样本质量显著提高。在下面的示例中，中心的视频插值在左侧和右侧的相应视频之间。先前的工作通常关注一小类视觉数据、较短的视频或固定大小的视频，Sora 是视觉数据的通用模型，它可以生成不同时长、长宽比和分辨率的视频和图像，最多可达一分钟的高清视频。因此，这四个视频的开头都不同，但所有四个视频的结局都是相同的。
掩码自编码器(MAE)是时空学习者
weixin_51697828的博客
08-30 1071
本文将掩码自编码器(MAE)扩展到了视频的时空表示学习上面。我们随机掩码视频中的时空patches，并训练一个自编码器重建它们。有趣的是，我们的MAE方法可以在几乎没有时空归纳偏置的情况下学到强大的表示，并且随机掩码表现最好。我们观察到，视频的最佳掩码率高达90%，而图像的最佳掩码率为75%。高掩码率将大大提高模型的训练速度。我们报告了在几个挑战性的视频数据集上的结果。我们观察到，MAE可以大大超过有监督的预训练。我们还报告了在现实世界、未经整理的Instagram数据上令人鼓舞的结果。......
#今日论文推荐# 何恺明团队的“视频版本MAE”，高效视频预训练,Mask Ratio高达90%时效果也很好
w1hsxn的博客
06-15 284
本文研究了Masked Autoencoders（MAE）在概念上对视频时空表示学习的简单扩展。作者随机mask视频中的时空patch，并学习Autoencoders以像素为单位重建它们。
masked autoencoders are scalab
03-16
le and efficient unsupervised learning models that can be used for various tasks ... Masked autoencoders have been widely used in machine learning and have shown promising results in many applications.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值