在自监督技术中,掩码建模涉及预测在训练期间按比例掩码的原始数据部分,以其先进的可转移性和减少对标签的依赖。
Masked Modeling for Self-supervised Representation Learning on Vision and Beyond
https://arxiv.org/pdf/2401.00897
两种流行的自监督学习技术的框架:(1)对比学习(2)掩码模型(掩码可作为数据增强用途)
自监督学习的分类:自监督学习分为 生成类(GPT等模型属于其中的自回归AR类别)和判别类。