CVPR （《28篇论文、6 大主题带你一览 CVPR 2020 研究趋势》学习笔记三表征学习）

原文链接：https://mp.weixin.qq.com/s/MkEwjHVC9M1JtdzZZdmeFw

表征学习

自监督学习的上下文不变表征学习

论文地址：https://yassouali.github.io/ml-blog/cvpr2020/

现有的自监督学习方法包括创建一个前置任务，例如，将图像分为九个块，并在排列好的块上解决拼图游戏。这些前置任务包括变换图像，计算变换后的图像的表示形式以及根据该表示形式预测变换的属性。最后，作者认为，学习的表示形式必须与转换相适应，因此需要减少学习的语义信息数量。为了解决这个问题，他们提出了PIRL（上下文不变表示学习）来学习关于变换的不变表示并保留更多的语义信息。

PIRL训练一个网络，该网络产生不依赖于图像变换的图像表示，这是通过最小化对比损失来完成的，其中训练模型以区分N个对应负样本中的正样本（即图像及其转换版本）从数据集中随机抽取均匀样本，不包括用于正样本的图像。对于基于噪声对比估计的损失，使用大量的负样本至关重要。为此，PIRL使用包含每个示例的特征表示的记忆银行（memeory bank），其中在给定实例中的每个表示都是先前表示的指数移动平均值。

ClusterFit：改进视觉表示的泛化能力

论文地址：https://arxiv.org/abs/1912.03330

弱监督（例如，标签标签预测）和自我监督（例如，拼图游戏）策略对于为视觉下游任务进行预训练CNN变得越来越流行。然而，在有限的训练信号可以在预训练期间提取的情况下，使用这种方法的学习表示可能会过度适合于预训练目标，从而导致对下游任务的归纳减少。

ClusterFit的想法非常简单，

1. 首先使用一些被选择的预训练任务对网络进行预训练，无论是自监督还是弱监督学习，

2. 然后使用该网络为每个图像提取特征，然后应用k均值聚类并为每个数据点分配伪标签。

3. 然后，伪标签可用于从头开始训练网络，通过线性探测或微调，网络将更适合于下游任务。

用于无监督视觉表征学习的动量对比

论文地址：https://arxiv.org/abs/1911.05722

无监督视觉表征学习的最新工作基于最小化对比度损失，这可以看作是构建动态字典，其中字典中的键是从数据（例如图像或小图块）中采样并由编码器网络表示的，然后训练以便查询 q类似于给定的键 k （正样本），并且与其他键（负样本）不同。

动量对比度（MoCo）通过匹配编码查询q来使用对比损失的编码键字典。字典键是由一系列数据样本动态定义的，其中字典是作为队列构建的，当前的小batch已入队，最早的小batch已出队，将其与小batch大小分离。通过使用队列，即使在当前的小batch处理之外也可以使用大量的负样例。

另外，键值可以由缓慢进行的编码器（即查询编码器的指数移动平均值）编码，这样，键值编码器会随着时间而缓慢变化，从而在训练过程中产生稳定的预测。查询编码器的另一个好处是，用作负样例的出队键与键值编码器的当前预测不太相似。

指导超越局部像素统计的自监督特征学习

论文地址：https://arxiv.org/abs/2004.02331

作者认为，良好的图像表示应同时捕获本地和全局图像统计信息，以便更好地推广到下游任务，在本地任务中，本地统计信息捕获像素点附近的分布（例如纹理），而全局统计信息则捕获远程像素和色块的分布例如形状。但是，CNN偏向局部统计数据，并且需要明确地将其重点放在全局功能上，以实现更好的生成。

为此，作者精心选择了一组图像变换（即扭曲、局部修复和旋转），以使网络仅仅观察局部统计信息就无法预测所应用的变换，从而迫使网络专注于全局像素统计信息。通过选择的变换，然后使用分类目标对网络进行预训练，以预测与所应用变换相对应的标签。