完整阅读 何凯明最新一作:Masked Autoencoders Are Scalable Vision Learners
在自然语言处理 (NLP) 中,对数以百万计数据的应用,已经通过自监督的预训练模型 (如 BERT) 成功地解决了。本文提出的 masked autoencoders (MAE)是一种可扩展的计算机视觉自监督学习器。本文核心思想:对输入图像的随机块进行 mask,然后重建缺失的像素。本文的核心方法是,提出了一个非对称的编码器-解码器体系结构,发现 mask 输入图像的高比例,会产生一个重要的且有意义的自监督任务。
原创
2021-11-25 06:39:22 ·
3739 阅读 ·
3 评论