论文阅读 之 Omni-Scale Feature Learning for Person Re-Identification

1. 相关链接

• 论文链接：Omni Scale_Feature_Learning_for_Person_Re-Identification_ICCV_2019_paper.pdf
• 代码链接： https://github.com/KaiyangZhou/deep-person-reid

2. 论文研究角度

行人重识别 （person re-ID） 主要面临两个挑战，如下图所示。首先，由于相机视角的变化，类内（实例/身份）的变化通常很大。 例如，图中的两个人 (a) 和 (b) 都携带背包； 摄像机视角的变化（从正面到背面）带来了很大的外观变化，使得匹配同一个人变得困难。 其次，类间的差异也很小——公共场所的人经常穿相似，通常监控视频都是远景视频，因此人们看起来非常相似（如图所示）。

为了克服这两个挑战，文章认为 re-ID 的关键是学习具有判别性的特征。行人重识别（person re-ID）是一种实例级别的识别问题，需要提取判别性的特征来表征不同的行人。

多尺度的空间特征组合有助于表征行人特征，区别不同的行人。因此文章提出了一种特征融合的行人重识别方法，设计了一种全尺度特征的深度卷积神经网络 OSNet 。

3. OSNet 模型

OSNet 融合了同质和异质尺度，学习到了全方位的特征表示。同时 OSNet 也是一个轻量化网络，这带来了两个好处：

• 行人重识别数据较难收集，因此数据集尺寸大小适中。轻量化网络不容易过拟合。
• 在大规模监控应用中，在设备端提取行人特征再发送到服务器比较实际。因此应用设备的行人重识别网络模型应该小一些。

3.1 深度可分离卷积

使用深度可分离卷积代替标准卷积以减少参数量。

3.2 全尺寸残差块

单尺度的 bottleneck 如下式所示，用来学习残差的恒定映射，

多尺度学习获得了
的感受野，多尺度表示如下式所示：

shortcut 连接允许在当前层中学习到的较小尺度的特征在下一层中有效地保留，从而使最终特征能够捕获整个空间尺度范围。
下图的左边是单尺度的残差结构，右图是多尺度的残差结构。

3.3 统一聚合门

如上图所示，每个流（支路）都可以提供特定尺度的特征，即它们是尺度同质的。 为了学习全尺度特征，建议以动态方式组合不同流的输出，即根据输入图像将不同的权重分配给不同的尺度，而不是在训练后固定。 更具体地说，动态尺度融合是通过一种新的聚合门（AG）实现的，它是一个可学习的神经网络。

因此，多尺度的残差计算如下：

文章选择使用通道权重向量，而不是提供粗尺度融合的单个标量输出函数，具体来说 AG 网络的输出是一个向量而不是第 t 个流的标量。这种设计产生了更细粒度的融合，可以调整每个特征通道。此外，权重根据输入数据动态计算的，这对于重新识别至关重要。

OSNet 是通过简单地逐层堆叠提出的轻量级瓶颈结构来构建的，无需特意定制不同深度（阶段）的网络模块。 详细的网络架构如下表所示。在 OSNet 的顶部是分类层（线性 FC + softmax）。训练遵循标准分类范式，其中每个人的身份都被视为一个独特的类别。

3.4 一些关于 OSNet 的讨论

OSNet 中的多流设计严格遵循指数规定的规模增量原则 。 具体来说，不同的流具有不同的感受野，但使用相同的 Lite 3 × 3 层构建。 这样的设计在捕捉大范围的尺度方面更有效。

SENet 旨在通过重新缩放单个流的激活值来重新校准特征通道，而 OSNet 旨在选择性地融合不同感受野大小的多个特征流，以学习全方位特征。

4. 实验

4.1 大型 re-ID 数据集上的表现

如下表所示，OSNet 在所有数据集上都达到了SOTA水平。而且是通过更小的模型尺寸达到的，具有更少的参数量。这验证了通过极其紧凑的网络实现的全尺度特征学习对 re-ID 的有效性。

4.2 小型 re-ID 数据集上的表现

总体而言，OSNet 在 VIPeR 和 GRID 两个小型数据集上的表现强大，表明它在较难收集大规模训练数据的实际应用中的实用性。

4.3 消融实验

• 实验一：模型结构选择

T 是下式中的流基数。

• 实验二：超参数的选择
  
• 实验三：统一聚合门的可视化
  
• 实验四：注意力的可视化
  如图左边所示，多尺度设计和统一的聚合门使 OSNet 能够识别视觉相似的人之间的细微差异——这是准确重新识别的重要要求。

图右边的单尺度模型过分关注面部区域，低分辨率的摄像头下这很不可靠。

OSNet 在行人属性识别和分类任务上表现也很好，此处不再详述。

5. 总结

文章中设计了一种新颖的深度重识别 CNN，称为全尺度网络（OSNet），用于全尺度特征学习。这是通过设计一个由多个卷积流组成的残差块来实现的，每个卷积流都以一定的比例检测特征。引入了一种新颖的统一聚合门来动态融合多尺度特征与输入相关的通道权重。为了有效地学习空间通道相关性并避免过度拟合，构建块使用逐点和逐深度卷积。通过逐层堆叠这样的块， OSNet 非常轻量级，可以在现有的 re-ID 基准上从头开始训练。尽管模型规模较小，但 OSNet 在六个行人 re-ID 数据集上实现了最先进的性能，明显领先优于大多数大型模型。