Neurlps2024论文解读|Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervise

论文标题

Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning 将联合嵌入预测架构与对比自监督学习相结合

论文链接

Connecting Joint-Embedding Predictive Architecture with Contrastive Self-supervised Learning论文下载

论文作者

Shentong Mo, Shengbang Tong

内容简介

本文提出了一种新颖的框架C-JEPA（对比-JEPA），旨在将联合嵌入预测架构（JEPA）与方差-不变性-协方差正则化（VICReg）策略相结合，以解决JEPA在无监督视觉表征学习中的两个主要局限性：I-JEPA中的指数移动平均（EMA）在防止模型崩溃方面的无效性，以及I-JEPA预测机制在准确学习补丁表示均值方面的不足。通过理论和实证评估，C-JEPA显著提高了视觉表征学习的稳定性和质量。在ImageNet-1K数据集上进行预训练时，C-JEPA在线性探测和微调性能指标上表现出快速且改进的收敛性，展示了其在无监督学习领域的潜力。

分点关键点

1. C-JEPA框架