Self-supervised representation pretraining：自监督表征预训练，分为2种，一类是类似于clip的对比学习，一类是掩码图像建模（Masked image modeling， MIM），基于我现在的工作背景，第二种方式我觉得是一种不可或缺的手段，因此需要进一步了解：
定义：
MIM：将图像中的某些图像块mask掉，然后用其他剩下的可见的图像块来预测被mask掉的图像块，然后进一步讲将这个任务变成一个接入下游任务的基础任务，将这个预训练的模型编程图像的编码器，则该编码器具备丰富的representation（表征和语义信息）
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
