【论文阅读】 Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification

这篇文章是关于分块的特征学习用于行人再识别任务
CVPR2019
无标签
d
可以参考的博客及连接:
介绍的比较详细
博客，讲方法
讲方法部分

摘要简介

本文提出了一种基于patch的无监督学习框架，以便从patch而不是整幅图像中学习识别特征，即利用patch之间的相似性来学习一个有区别的模型。（主要关注局部的信息）
开发了PatchNet从feature map中选择patch，并学习这些patch的可分辨特征。（从patch中学习辨别特征）（选择特征，如何选择呢）
PatchNet学习未标记数据集上的判别特征，提出了一种基于无监督patch的判别特征学习损失的算法。（提出了一个损失）
设计了一个图像级的特征学习损失，以利用同一图像的所有patch特性作为PatchNet的图像级指导。（同一类图像的特征作为指导，这次不是用图片的标签指导，无监督方式进行训练）

引言部分
没有标签
如果两幅图像相似，那么他们的patch有可能也是相似的；在此基础上，提出了一种基于patch的判别特征学习模型，该模型具有较强的泛化能力，能够在不同的数据集之间学习判别特征。这启发了我们开发一个基于patch的无监督行人识别模型来学习有区别的patch特征而不是图像特征。

提出了PAUL：分三个部分
补丁程序区分特征学习网络（PatchNet）旨在从特征图中选择patch程序，并为每个补丁程序学习区分特征。（获得patch的位置和选择patch）

在PatchNet中，我们建议基于补丁的判别性特征学习损失（PEDAL），通过将相似补丁的特征放在一起并推开不相似的补丁，来指导PatchNet在未标记的数据集上学习补丁特征。（提出一个损失，针对相似和不相似的特征）

同时，我们通过对每个图像进行随机图像变换来生成替代正样本，并通过循环排序在小批量中挖掘硬负样本以构成三元组，然后开发图像级补丁特征学习损失（IPFL）以利用同一图像的所有补丁功能可提供图像级别的指导。（扩充样本数量，未理解三元组）

主要的贡献：
1）我们首次演示了如何有效地在未标记的数据上提取基于区分性补丁的局部特征，以实现无人监督。

（2）为了克服对未标记数据集缺乏有效指导的问题，我们建议PEDAL和IPFL为深度模型训练提供有效指导，以便它可以学习无监督re-id的判别特征

方法部分
提出了一个新的基于patch的判别特征学习框架来利用不同数据集的公共补丁，并在一个未标记的数据集上挖掘判别特征。包括学习patch特征和损失函数；

PatchNet主要由一个CNN主干和一个patch generation network (PGN)组成，PGN可以从feature map中生成不同的patch。然后将网络分成几个分支，每个分支分别附加一个平均池化层和一个卷积层-有预训练。

为了有效地指导PatchNet在未标记的数据集上学习更多的甄别特征，我们提出了一种基于patch的甄别特征学习损失(ative feature learning loss, PEDAL)，将相似的patch拉在一起，将不同的patch推开。（提出的损失）

同时，我们开发了一个图像级的patch feature learning loss (IPFL)来利用同一幅图像的所有patch特征来提供图像级的指导。（可以看成类内的约束，如何操作）由于没有标签信息可以在未标记的数据集上构成一个三元组（三元组？），因此我们将同一图像的所有patch特征连接起来，通过循环排序在一个小批量中挖掘出硬的负样本，并为每个图像生成替代的正样本。（不理解）

  Patch Generation Network 


从feature map中提取patch
 该系统可分为定位网络(LN)、patch采样网格和采样器三部分：
1： LN获取输入特征图并进行预测，由一组仿射变换参数参数化的M个空间位置 （这部分是输出变换参数，对图像的大小，方向，平移做出改变，总共是生成六个参数）LN有一个卷积层和两个FC层。我们初始化LN的最后一个完全连接层的偏置，以便从不同的空间区域采样斑块，并在初始状态下捕获人像的不同线索。（没看懂，为什么可以达到在不同的空间区域采样patch）
    
2： 每个预测的变换参数用于采样网络，该采样网格是应对输入要素图进行采样以形成补丁的一组点。

3： 最后一步是采样，这样我们可以为每个图像得到M个补丁。

Patch-based Discriminative Feature Learning

在本节中，我们的目标是引导PatchNet学习未标记数据集的区别patch特性。注意，PGN为每个图像特征生成M个补丁，而且这些来自同一图像的不同patch分布在不同的空间区域。这些不同的区域可能包含身体的不同部位，这些部位具有不同的语义信息；利用不同的CNN分支对同一图像的这些不同的patch进行编码，对不同的分支独立地进行识别性特征学习。
我们提出了一种新的无监督patch特征学习方法——patch级判别学习。我们建议在特征空间中将相似的patch拉近，同时将那些不相似的patch推开，文中图3



因此，我们维护一个补丁特性存储库来存储这些补丁特性：

特别地，t = 0意味着我们在对未标记数据集进行训练之前初始化所有的内存库，然后在训练期间使用Eq. 1不断更新batchby-batch，这样wjm就可以成为xm的在线近似。



通过损失函数的约束，对存储器不断进行更新，网络就可以使相似的图像块的特征向量越来越相似。换而言之，网络就具有了识别哪些块相似，哪些块不相似的能力。

（分快的好处在于，尽管可能有些patch因为特征相近被分到同一类，但是其他的patch可能存在有鉴别力的特征，这样可以通过不同块之间的互补作用对同一个id的信息进行整合。id 的信息不仅由其中的一个patch决定，而是由多个patch构成，存在着多个属性能够更好的对身份信息进行分类）

 Image-level Patch Feature Learning
 
 此外，我们还开发了一个图像级的损失，以进一步利用图像级的潜在鉴别信息，这些信息可以通过鉴别的patch特征来挖掘。一种有效的方法是最小化类内间隙，同时最大化整个图像特征空间中的类间间隙。为此，我们引入了一个循环排序来挖掘小批量的硬阴性样本，并通过一系列图像变换生成代理阳性样本。然后，我们开发了一个基于三重损失的函数。（主要是约束类内并获得中间的hard-negative样本）

前提是，两个样本属于同样id，那么他们很可能互相为nearest neighbors，即互相在中。使用多个patch的集合来实现triplet loss，相反，如果一个小批中的两个样本不是彼此的邻居，则这种不一致性表明它们可能具有不同的身份。

基于上述讨论，我们开发了一个循环排序来在一个小批量中挖掘硬阴性样本(通过标签信息还是)z