#今日论文推荐# 何恺明团队的“视频版本MAE”，高效视频预训练,Mask Ratio高达90%时效果也很好

#今日论文推荐# 何恺明团队的“视频版本MAE”，高效视频预训练,Mask Ratio高达90%时效果也很好

本文研究了Masked Autoencoders（MAE）在概念上对视频时空表示学习的简单扩展。作者随机mask视频中的时空patch，并学习Autoencoders以像素为单位重建它们。

有趣的是，本文的MAE方法可以学习强表示，几乎没有时空诱导偏置，时空不可知随机的mask表现最好。作者观察到，最佳掩蔽率（mask ratio）高达90%（而图像的掩蔽率为75%），这支持了该比率与数据信息冗余相关的假设。较高的掩蔽率会造成较大的加速比例。作者使用vanilla Vision Transformers报告了几个具有挑战性的视频数据集的竞争结果。

通过实验，作者观察到，MAE的表现大大优于有监督的预训练。此外，作者还报告了在真实世界中未经处理的Instagram数据上进行训练的结果。本文的研究表明，masked autoencoding的一般框架（BERT、MAE等）可以是一种使用最少领域知识进行表征学习的统一方法。

深度学习社区正在经历一种趋势，即统一解决不同领域问题的方法，如语言、视觉、言语等。在架构方面，transformer已成功地引入计算机视觉，并被确立为语言和视觉的通用构建块。对于自监督表征学习，BERT中的去噪/屏蔽自动编码（masked autoencoding）方法已被证明对从图像中学习视觉表征有效。为了统一方法，针对特定问题只引入了较少的领域知识，这促使模型几乎完全从数据中学习有用的知识。

论文题目：Masked Autoencoders As Spatiotemporal Learners
详细解读：https://www.aminer.cn/research_report/62a947ed7cb68b460fd2ea4a?download=falsehttps://www.aminer.cn/research_report/62a947ed7cb68b460fd2ea4a?download=false
AMiner链接：https://www.aminer.cn/?f=cs