SupMAE: Supervised Masked Autoencoders Are Efficient Vision Learners

一、论文简述

        链接：原文链接

主要运用原版MAE的不等长的encoder和decoder的部分，并且加入不同的分支进行多任务运用，同时具有分类分支和复原分支两个分支，Loss也由两个部分的loss构成。

二、模型结构

        1. Image masking and encoding 图片掩码生成和encoding部分

                将图片切分成为不重叠的小部分，将其中的75%部分进行遮罩

        2. Reconstruction branch 重建分支

                positional embeddings后进行encoding，encoding的卷积层数较深，而在重建过程中生成完整像素时，所用的decoding的卷积层数较浅

        3. Classification branch 分类分支

                注意分类分支的起点为稀疏图片，并不是用复原后的完整图片，层数由MLP+Batchnorm+ReLu，最后能够得到类别，从而计算

        4. Overall objective 总目标函数，总loss

                

                主要分为两个部分loss构成，一个是重建的mask loss，一个是判断图片的类别loss