超级会员免费看
以下是根据 MECE 原则找到的四个可以作为分类标准的特征：
1. 预训练任务。预训练任务是指模型在用于下游任务之前进行训练的特定任务。在视觉语言预训练的背景下，有几种常见的预训练任务：
- 对比学习：在对比学习中，模型被训练来区分相似和不相似的示例对。例如，在视觉语言预训练的情况下，模型可以被训练来区分图像和它们对应的标题，或区分图像和它们对应的描述。
- 掩码语言建模 (MLM)：在 MLM 中，模型被训练来预
本文介绍了视觉语言预训练任务中的语义补全学习（SCL），强调了其与传统预训练任务的区别，如对比学习和掩码语言建模。SCL旨在教模型重建图像和文本中缺失的语义信息，以生成更连贯的表示。模型在网页抓取数据上训练，目标是学习通用表示，适用于多种下游任务。相较于其他文献，SCL提供了一种更深入理解数据语义的预训练方法。
订阅专栏 解锁全文
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
