AI博士读生医多模态掩码建模文献

在自监督技术中，掩码建模涉及预测在训练期间按比例掩码的原始数据部分,以其先进的可转移性和减少对标签的依赖。

Masked Modeling for Self-supervised Representation Learning on Vision and Beyondhttps://arxiv.org/pdf/2401.00897

两种流行的自监督学习技术的框架：（1）对比学习（2）掩码模型（掩码可作为数据增强用途）

自监督学习的分类：自监督学习分为 生成类（GPT等模型属于其中的自回归AR类别）和判别类。