CVPR （《28篇论文、6 大主题带你一览 CVPR 2020 研究趋势》学习笔记五迁移/小样本/半监督/无监督学习）

原文链接：https://mp.weixin.qq

迁移/小样本/半监督/无监督学习

用于任务感知的持续学习的条件通道门控网络

论文地址：https://arxiv.org/abs/2004.00070

在训练示例包含一系列子任务的情况下，需要基于梯度优化的深度网络会遭受灾难性的遗忘，从而丢失先前任务中学习到的信息。持续学习试图通过允许模型保护和保留所获取的信息，同时仍然能够从新任务中提取新信息来解决这一问题。与LSTM / GRU中的门控机制相似，作者提出了一种通道门控模块，其中仅根据当前任务选择特征图的子集。这样，能保护重要的filters以避免模型在先前学习的任务上的性能损失，此外，通过选择一组有限的要更新kernel，模型仍将具有学习新任务的能力。

本文还引进了任务分类器，以克服在测试时了解模型要应用于哪个任务的需求，训练该任务分类器以预测在训练时的任务，并选择将哪些CNN特征传递给全连接层用于分类。但是，任务分类器也容易遭受灾难性的遗忘问题，因此作者建议使用情景记忆和生成记忆来训练它，以避免这种情况发生。

PolarMask：具有极坐标表示的单镜头实例分割

论文地址：https://arxiv.org/abs/1909.13226

PolarMask建议使用极坐标表示实例分割任务中每个检测到的目标掩码。极坐标表示与笛卡尔坐标表示相比具有许多固有的优点：（1）极坐标的原点可以看作是目标的中心。（2）从原点开始，能由距中心的距离和角度确定对象的轮廓。（3）该角度是自然方向的（从0°到360°开始），这使得将这些点连接到整个轮廓非常方便。

该模型基于FCOS：对于给定实例，我们有三个输出：

1. k个 类上的分类概率（例如在COCO数据集上 k=80），

2. 目标的中心（极中心）

3. 到中心的距离（掩码回归）。本论文建议使用距中心n=36的距离，因此轮廓中两点之间的角度为10°。基于这些输出，可以像使用Mask-RCNN一样，以单次拍摄的方式轻松检测每个目标的范围，而无需使用子head网络对每个检测到的目标进行像素方向的分割。

通过嵌入自适应与设置到设置的功能进行小样本（Few-Shot）学习

论文地址：https://arxiv.org/abs/1812.03664

小样本学习包括学习一个具有N个类、每个类中有K个样本（即称为N-Way，K-shot任务）的性能良好的模型，但是高容量的深层网络在有限的训练数据上很容易出现过拟合。许多小样本学习用的学习方法（例如，原型网络）是通过在训练有很多标记实例的情况下从可见类中学习实例嵌入函数来解决此问题的，然后将一个简单函数应用于具有有限标签的不可见类中的新实例的嵌入测试时贴上标签。但是，考虑到学习的嵌入功能对于看不见的类不是最佳的区分，因此学习的嵌入与任务无关。

作者提出使用“set-to-set”功能使实例嵌入适应目标分类任务，从而产生任务特定且具有分辨性的嵌入。为了产生任务特定的嵌入，作者将执行一个额外的适应步骤，其中嵌入功能将通过set-to-set函数进行转换，该函数对集合的图像实例进行上下文式处理，以实现每个条例的强大共适应性。作者测试了许多set-to-set函数，例如BiLSTM，图卷积网络和Transformer，并且发现Transformer在这种情况下有效。

迈向可分辨性和多样性：标签不足情况下的批量神经核范数最大化

论文地址：https://arxiv.org/abs/2003.12237

如果为我们提供了一个小的标注集，则由于将决策边界放置在高密度区域附近，结果导致模糊网络上深度网络的性能下降（右下图）。一种常见的解决方案是熵最小化，但是由熵最小化引起的一个副作用是预测多样性的降低，其中歧义样本被归类为最主要的类别，即可分辨性增加但多样性下降。

这篇论文研究了增加可分辨性（输出高度确定的预测）和增加多样性（均等地预测所有类别）的方法。通过分析输出矩阵A∈RB×C （包含一批 B样例和 C类别）  的秩，作者发现预测的判别性和多样性可以通过Frobenius范数和 A的秩来衡量，并提出批神经核范数最大化（Batch Nuclear-norm Maximization）将其应用于输出矩阵 A 以提高我们在标签数量有限的情况下的性能，例如半监督学习和域自适应学习。