论文阅读28 | SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person ReID

论文：SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification（一个用于跨模态行人重识别的频谱感知特征增强网络）

1.创新点

中规中矩，拼拼凑凑的典型。本文的创新点在于拼凑了，将RGB图生成的灰度图和IR图一起训练，减小模态之间的差异也保留了原始RGB图的结构信息；计算ID损失的时候，将单FC层前新加了一个FC层和BN层，可以增加ID损失的效率；在ranking loss中设计了三种双向损失比较全面，跨模态损失，模态内损失，模态间损失。

2.网络框架

首先利用逐元素通道累加的方法，将给定RGB图像点对点转换为灰度图像，并通过简单的复制操作，将单通道图像扩展到三通道灰度图。将灰度图和IR图经过一个双流网络提取特征，池化后得到特征向量。一方面，特征向量经过双线性的FC层计算ID损失；另一方面，

（1）生成灰度光谱图像

给定一个RGB图像，对RGB图像的每个元素的三个通道进行累加，将得到的每个数值依次放到灰度图像中对应的像素位置上。每个像素的计算公式如下，α、β和δ的值分别为0.299、0.587和0.114。最后，通过简单的复制操作，将单通道图像扩展到三通道灰度图。生成的图像和IR图像风格相像而且保留了RGB图像的一些结构信息。