超级会员免费看
本文提出了一种多模态表示学习框架，通过无监督对比学习学习解耦和模态不变的表示。该框架适用于视觉和文本数据，强调学习潜在模态结构的重要性，以改善图像描述、视觉问答等任务的性能。通过深度特征分离损失、布朗桥损失和几何一致性损失，模型在多种跨模态任务上展现出优越性能。
以下是可以作为分类标准的四个特征：
1. 数据模式。数据模式是指用于训练模型的数据类型。在本例中，数据可以是视觉、文本或视觉和语言。
- 视觉：这意味着模型仅在图像上进行训练。模型学习以捕捉其视觉内容的方式表示图像。
- 文本：这意味着模型仅在文本上进行训练。模型学习以捕捉其含义的方式表示文本。
- 视觉和语言：这意味着模型在图像和文本上进行训练。模型学习以捕捉其含义及其相互关系的方式表示图像和文本。
2. 学习目标。学习目标是指训练过程的目标。在本例中，学习目标可以是监督或无监督。
- 监督：这意味着模型是在带有正确答案的数据上
订阅专栏 解锁全文
236
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
