Diversity-Achieving Slow-DropBlock Network for Person Re-Identification论文阅读

Paper：https://arxiv.org/abs/2002.04414

Code：https://github.com/AI-NERC-NUPT/SDB

 

摘要：使用多分支网络架构进行行人重识别（Re-ID）的挑战是如何从标记ID的数据集中学习不同的特征。最近两个分支的Batch DropBlock（BDB）网络被提出，可以实现全局分支和特征丢弃分支之间的多样性。在这篇文章中，我们提出将丢弃操作从中间特征层移倒输入层（图片丢弃）。由于这可能会丢失大量输入图片，使得训练难以收敛。为此，我们提出了一种新的双batch分割联合训练方法来解决这一问题。特别地，我们证明了通过为每个分支设置单独的drop比率，使用多个drop分支可以很好地实现特征多样性。经验证据表明：该方法在Market-1501、DukeMTMC-reID和CUHK03三个基准数据集上性能均优于BDB， 使用更多drop分支可以进一步提高性能。

 

简介：

a：基于部件方法的局限性：基于部件的方法的性能在很大程度上依赖于所采用分区机制。语义划分可能提供了稳定的线索，以保持良好的对齐，但容易出现姿态检测的噪声，因为它要求准确地识别和定位人体部位。统一的水平分区在[18]、[25]中得到了广泛的应用，但是，由于缺乏语义支持和难以确定适当的分区数量，使得[18]、[25]的性能提升有限，同时也存在多分支网络架构问题。

b：基于丢弃方法的局限性：基于dropout的方法在Re-ID中得到了广泛的应用，包括各种数据丢弃方法（数据增强）和特征丢弃方法。数据丢弃方法，如random erasing、cutout、DropBlock等，已经被证明在Re-ID中可以有效提取丰富的特征。一个主要的缺点是丢弃比例需要保持足够低，以保证训练的收敛性，这可能会妨碍发现更多不同的特征。Batch DropBlock(BDB)作为一种典型的特征丢弃方法，已经被证明对Re-ID有效。然而，BDB的丢弃模式只在一次迭代修正（一个批次的样本），其网络可能难以学习到稳定的结构。提高发现特征多样性的方法是增加分支数量。不幸的是，BDB只是一个两个分支的架构。目前，还不知道如何将现有的两分支体系结构扩展到具有任意数量分支的体系结构以改善多样性。

c：Dropout技术的变体：Dropout是避免过拟合的标准工具，它在训练过程中以概率随机丢弃隐藏单元的输出，迫使神经网络学习更多不同的特征。近年来，基于dropout的新技术被提出并应用并进一步应用于Re-ID领域。

       1）：Cutout：是一种简单的数据扩充技术，它涉及丢弃输入图像的连续部分，有效的用现有部分遮挡样本扩充数据集。它在训练过程中随机遮挡输入图像的正方形区域。

      2）：Random Erasing（RE）：相对于生成遮挡样本，RE随机选择图像中的一个矩形区域，并用随机值檫除其像素。

      3）：DropBlock（DB）：对于一个batch的输入张量（图像或特征），DB随机地为每个输入张量丢弃一片连续的区域。

      4）：Spatial Dropout（SD）：SD随机地将输入张量的整个通道归零。归零的通道是随机选择的。

       5）：Batch DropBlock（BDB）:BDB随机丢弃batch中输入特征图的相同区域，加强剩余部分的细粒度特征学习。

  小结：SD和BDB操作对象是中间层的特征图。剩余的是对输入图像进行数据增强的方法。

 

知识点解析：Slow-DropBlock：Slow-DropBlock随机生成个一个连续的块模式，对Q个批次的输入图像进行像素擦除。slow表示生成的块模式至少在Q > 1个批次中保持不变。当Q=1时，相当于BDB，用于数据扩充。SDB中唯一的参数是擦除高度比rh，这样，擦除的宽度比rw设置为1.

                                                  

Proposed Network Architecture：

        

通过修改常用的ResNet-50backbone，我们采用L-branch神经网络架构，称为SDB-L。上图显示了整个网络体系架构，其中包括backbone，global分支和L-1local分支。SDB-2和BDB的区别是使用了注意力模块。在本文中，共享网络中空间注意力模块和通道注意力模块的使用遵循了[5]的工作，但是我们插入了一个额外的空间注意力模块（SAM）在随后的global和local分支中。实验证明，降维层的使用依赖于底层数据集。

      a： Attention Modules：给定一个输入特征图，其中c，h和w分别代表特征图的通道数及高和宽。继[37]、[6]和[38]之后，所使用的空间注意模块（SAM）首先计算X的空间相关矩阵  其中输入特征图被冲构造成一个大小为，是一个参数。在本文中，我们简单的令 = 0。则亲和矩阵为 。空间注意模块的输出为： 。是一个可学习的参数。

   b： Shared-Net：我们使用常用的ResNet-50作为特征提取的backbone。为了与最近的工作[2]、[3]和[4]对比，我们还对主干进行了些许的修改，在stage_4阶段不进行下采样操作。通过这种方式，我们得到一个2048X24X8的特征图。如上图所示，我们在共享网络的stage_3和stage_4都插入SAM+CAM。

  c：Global Branch：global分支由stage_4， BottleNeck块、SAM模块，一个GAP生成2048维的向量、（1X1的卷积层，一个2-D的BN层和一个ReLU层）将维数减少到512，为三元组损失和交叉熵损失提供了紧凑的全局特征表示。

  d：Diverse Local SDB Branches：local分支具有和global分支相似的层结构，但是使用GMP代替GAP。其次，GMP后的通道缩减模块为2048X512的全连接层、BN层和ReLU层。为了实现local分支的特征多样性，我们考虑使用具有不同的擦除高度比rh的local分支。本文的一个贡献为，我们证明了设置不同rh的多个local分支的SDB可以实现特征多样性。例如，设置rh = 0.3、0.2、0.4对应SDB三个local分支，我们可以将三个local分支和glocal分支连接起来，实现特征的多样性。

   e：Loss Functions：来自global和local分支的特征向量被连接起来，作为Re-ID的图像的最终的特征向量。在global和local分支上使用常用的损失函数。

 

Double-Batch-Split Co-Training：首先，我们队SDB-2进行训练和研究。实验表明，SDB对输入的batch图像在训练过程中难以收敛。为此，我们提出了一种新的双batch的批处理分割联合训练方案。在训练过程中，网络接收大小为2B*H*W*3的图像（tensor），由两个batch样本组成。一个常规batch和drop batch，数量均为B。通常的批处理常用常规的数据扩充，包括水平翻转、归一化和cutout。随着SDB获得更多的增强数据，drop分支进一步增加，drop分支的模式是随机生成的，但对于Q批次是保持不变的。这个super-batch首先输入到共享网络，即stage-1到stage-4。生成的特征图被分成两个子批次，一个用于global分支，一个用于local分支。每个单独的分支获得的特征将是批量大小为B。global分支和local分支分别使用GAP和GMP，因为GMP鼓励网络在去掉最具鉴别性的部分后，识别出相对较弱的显著特征。其次，对于SDB-L， 我们训练（L-1）次SDB-2的网络。

 

Conclusion：

                                               

  效果确实挺好的，响应区域大都集中于人的身体上。