CVPR无监督/自监督学习(Un/Self-supervised Learning)方向论文学习（附摘要）

目录

2022CVPR

UniVIP: A Unified Framework for Self-Supervised Visual Pre-training（自监督学习）

Crafting Better Contrastive Views for Siamese Representation Learning（自监督学习）

HCSC: Hierarchical Contrastive Selective Coding（自监督学习）

DiRA: Discriminative, Restorative, and Adversarial Learning for Self-supervised Medical Image Analysis（自监督学习）

FreeSOLO: Learning to Segment Objects without Annotations（自监督实例分割）

2021CVPR

Domain-Specific Suppression for Adaptive Object Detection

A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning

Unsupervised Multi-Source Domain Adaptation for Person Re-Identification

Self-supervised Video Representation Learning by Context and Motion Decoupling

Removing the Background by Adding the Background: Towards Background Robust Self-supervised Video Representation Learning

Spatially Consistent Representation Learning

VideoMoCo: Contrastive Video Representation Learning with Temporally Adversarial Examples

Exploring Simple Siamese Representation Learning

Dense Contrastive Learning for Self-Supervised Visual Pre-Training

---

2022CVPR

UniVIP: A Unified Framework for Self-Supervised Visual Pre-training（自监督学习）

Paper: https://arxiv.org/abs/2203.06965

Code: None

Abstract: 自监督学习(SSL)有望利用大量未标记数据。然而，目前流行的SSL方法的成功仅限于像ImageNet中的单中心对象图像，忽略了场景和实例之间的相关性，以及场景中实例的语义差异。为了解决上述问题，我们提出了统一自监督视觉预训练(UniVIP)，这是一种新的自监督框架，用于学习单中心对象或非图标数据集上的通用视觉表示。该框架考虑了场景-场景的相似性、场景-实例的相关性、实例-实例的辨析三个层次的表征学习。在学习过程中，我们采用最优传输算法自动测量实例的区分度。大量实验表明，UniVIP在非标志性COCO上的预训练在各种下游任务上，如图像分类、半监督学习、目标检测和分割上，都达到了最先进的传输性能。此外，我们的方法也可以利用单中心目标数据集，如ImageNet，在线性探测中，在相同的预训练周期下，比BYOL高出2.5%，并且在COCO数据集上超越了现有的自监督目标检测方法，显示了其普遍性和潜力。

Crafting Better Contrastive Views for Siamese Representation Learning（自监督学习）

Paper: https://arxiv.org/abs/2202.03278

Code: https://github.com/xyupeng/ContrastiveCrop

中文解读：CVPR 2022 | 即插即用！助力自监督涨点的ContrastiveCrop开源了！

Abstract: 最近的自我监督对比学习方法极大地受益于旨在最小化正对之间距离的Siamese结构。要实现高性能的Siamese表示学习，关键之一是设计良好的对比对。以往的大多数工作都是简单地采用随机抽样的方法对同一幅图像进行不同的裁剪，忽略了语义信息，这可能会降低视图的质量。在这项工作中，我们提出了compartivecrop，它可以有效地为Siamese表示学习生成更好的裁剪。首先，在训练过程中提出了一种完全无监督的语义感知目标定位策略。这可以引导我们生成对比视图，从而避免大多数误报(即对象与背景)。此外，我们的经验发现，具有相似外观的视图对于Siamese模型训练是微不足道的。因此，进一步设计了一个中心抑制抽样来扩大裁剪的方差。值得注意的是，我们的方法仔细考虑了对比学习的正对，而额外的训练开销可以忽略不计。作为一个即插即用和框架不相关的模块，在CIFAR-10, CIFAR-100, Tiny ImageNet和STL-10上，compartivecrop的SimCLR, MoCo, BYOL, SimSiam的分类精度持续提高0.4% ~ 2.0%。在ImageNet-1K上进行预训练时，在下游检测和分割任务上也取得了优异的结果。

HCSC: Hierarchical Contrastive Selective Coding（自监督学习）

Paper: https://arxiv.org/abs/2202.00455

Code: https://github.com/gyfastas/HCSC

中文解读: CVPR 2022 | CNN自监督预训练新SOTA！上交/Mila/字节联合提出HCSC：具有层级结构的图像表征自学习新框架

Abstract: 分层语义结构自然存在于图像数据集中，其中几个语义相关的图像集群可以进一步集成到一个具有粗粒度语义的更大集群中。使用图像表示捕获此类结构可以极大地促进对各种下游任务的语义理解。现有的对比表征学习方法缺乏这种重要的模型能力。此外，这些方法中使用的负对并不能保证语义上的不同，这可能会进一步阻碍学习图像表示的结构正确性。为了解决这些限制，我们提出了一种新的对比学习框架，称为分层对比选择编码(HCSC)。在该框架中，构造了一组层次原型，并动态更新以表示潜在空间中数据的层次语义结构。为了使图像表示更好地适应这种语义结构，我们通过精心设计的对选择方案采用并进一步改进传统的实例化和原型化对比学习。该方案力求选择语义相似的更多样的正对和语义真正不同的更精确的负对。在广泛的下游任务中，我们验证了HCSC优于最先进的对比方法的性能，并且通过大量的分析研究证明了主要模型组件的有效性。

DiRA: Discriminative, Restorative, and Adversarial Learni