自监督｜「CoCLR」视频自监督对比学习笔记

🔗

论文地址：https://www.robots.ox.ac.uk/~vgg/research/CoCLR/

Github: https://github.com/TengdaHan/CoCLR

一、背景介绍

1. 作者背景： VGG (Oxford Visual Geometry Group) 牛津大学视觉几何组发布于 2020 NeurIPS

2. 在图像和视频处理领域，自监督表征学习近两年的成果来自对比学习：给定数据集，目标是区别样本的“变体”和数据集中的其他样本。“变体”可以来自人造的，比如数据增强、也可以来自天然的，比如同一视频的不同片段出现的物体。常用的方法是实体判别，MoCo, SimCLR 都是这个思路，拉近正样本的距离，推远正样本与负样本的距离。因此对比学习非常灵活，不同的正负样本定义规则就会有不同，比如同一个视频里正负两帧都是正样本，其他视频认为负样本。

3. 这篇文章提出的问题是：是否实体判别最大化利用数据？没有，原因如下

• 常见对比学习困难正样本无法辨别：通过实验证明，困难正样本的数据（标签）加入能够提高表现。对比单纯使用无监督 InfoNCE 和使用有监督的 UberNCE 的实验结果。
• 文章提出的 CoCLR, 效果比上面无监督 InfoNCE 和使用有监督的 UberNCE 的实验结果都好。采用两种 flow 网络和 RGB 网络交替辅助训练，本质是一种新的抽样方法。

4. UberNCE 是什么？

a. 简单理解是给有类标签数据定义的对比损失函数，本质是 InfoNCE。

b. 2020 NeurlIPS 同时期还有一篇论文是 Supervised Contrastive Loss, 提出扩展对比损失函数，允许每个锚点有多个正对。将对比学习适应于完全监督的 setting。

5. InfoNCE 与 UberNCE 的区别

• UberNCE 是 InfoNCE 的上限。如果没差别，说明 InfoNCE 很完美，如果差异很大，说明数据还有信息很多没挖掘。