Neural Feature Search for RGB-Infrared Person Re-Identification详细分析

Neural Feature Search for RGB-Infrared Person Re-Identification（RGB-IR 行人重识别的神经特征搜索）——学习笔记

期刊合集：最近五年，包含顶刊，顶会>>网址
文章来源：CVPR2021

背景

  大多数现有行人重识别的任务都是通过手动设计的功能选择模块实现性能提升，这些模块通常需要大量的领域知识和丰富的经验，对研究人员的专业知识要求较高。本文研究了一种称为神经特征搜索（NFS）的通用范式，以实现特征选择过程的自动化。具体来说，NFS结合了一个双层特征搜索空间和一个可区分的搜索策略，在粗粒度通道和细粒度空间像素中联合选择与身份相关的线索。这种组合使NFS能够自适应地过滤背景噪音，并以数据驱动的方式专注于人体的信息部分。此外，跨模态对比优化方案进一步指导NFS搜索能够最小化模态差异同时最大化类间距离的特征。

目前在行人重识别领域已经实现的两种方法：图像合成方法、共享特征学习方法。 并已经达到了很好的效果

创新点

1.提出了一种用于RGB-IR行人重识别的AutoML支持的神经特征搜索方法，该方法使特征选择过程自动化，大大提高了匹配精度，而不需要人工干预（首次尝试将自动特征选择技术用于跨模态ReID）。

2.引入了一种新的特征搜索空间，允许空间和信道特征选择。基于该搜索空间，文章还提出了一种嵌入跨模态对比优化机制的高效特征搜索算法，有效地解决了RGB-IR ReID中的模态差异。

技术方法

1）Baseline RGB-IR Person ReID

为了捕获模态不变信息，第一个卷积块的参数对于每个模态是独立的，而其他层是共享的以学习鉴别特征。（在训练阶段，尽量减少以下基线损失函数）

2）Modality-aware Neural Feature Search

近年来，越来越多的神经架构搜索（NAS）研究在各个领域取得了巨大成功，例如图像分类、语义分割等，NAS旨在为特定的学习任务自动搜索深度神经网络的最佳操作或拓扑。与NAS方法不同，NFS从基于CNN的特征空间中搜索与身份相关的特征，以搜索最佳拓扑和操作以获得最佳性能的架构。本文将自动特征搜索作为一个超参数学习任务，其中搜索超参数和网络权重被联合优化，以导出最优的鉴别特征子集。

Dual-level Feature Search Space

建立了一个搜索空间，包括每个共享卷积块提取的所有特征候选。

其中，L：共享模块
X：输入特征图
YL：输出特征图
ｐ：像素点位置
Wc：卷积层权重

基于鉴别特征在YL的空间和通道维度上呈现模态特定分布的事实，文章引入了模态感知搜索单元，将原始特征空间Y分解为两个子空间：像素级子空间和深度级子空间。

实验结果

分析结果：使用神经方法在很大程度上超过了AlignGAN，在Rank-1中提高了12.01%，在mAP中提高了14.66%，这表明当图库大小增加时具有很强的鲁棒性。

 

扩展学习

1. 类内距离与类间距离
   定义：
   类内距离（intra-class）：同一类各模式样本点间的均方距离；
   类间距离(inter-class)：顾名思义就是样本中不同类间的距离；
   在Triplet loss中会遇到 intra-class distances 是指同一个个体在不同摄像机下的距离。
   计算公式：
   

2. 生成对抗网络（GAN）
   生成式对抗网络（GAN, Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。
   生成模型捕获数据的分布，并以尝试最大化判别器出错的概率的方式进行训练。另一方面，判别器基于一个模型，该模型估计它获得的样本是从训练数据而不是从生成器接收的概率。GAN 被表述为一个极小极大游戏，其中判别器试图最小化其奖励V(D, G)，而生成器试图最小化判别器的奖励，它可以用以下公式在数学上描述：

其中，G = 生成器；D = 鉴别器；Pdata(x) = 真实数据的分布；P(z) = 生成器的分布；x = Pdata(x)的样本； z = P(z) 的样本；D(x) = 鉴别器网络；G( z) = 生成网络。
GAN是一种通过将无监督问题视为有监督问题并同时使用生成模型和判别模型来自动训练生成模型的架构。
GAN为复杂的特定领域数据增强提供了途径，并为需要生成解决方案的问题提供了解决方案，例如图像到图像的转换。
举个例子：
 判别模型：给定一张图，判断这张图里的动物是猫还是狗
 生成模型：给一系列猫的图片，生成一张新的猫咪（不在数据集里）
其中，判别模型，损失函数是容易定义的，因为输出的目标相对简单。但对于生成模型，损失函数的定义就不是那么容易。我们对于生成结果的期望，往往是一个暧昧不清，难以数学公理化定义的范式。所以不妨把生成模型的回馈部分，交给判别模型处理。
GAN的基本原理其实非常简单，这里以生成图片为例进行说明。
 G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
 D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图。
在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。
最后博弈的结果是什么？在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。
对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 1。这样我们的目的就达成了：我们得到了一个生成式的模型G，它可以用来生成图片。