Graph Correspondence Transfer for Person Re-Identification论文笔记

摘要

提出了GCT（图关系迁移）模型解决行人重识别问题，与现存的方法不一样，GCT将行人重识别视为一个离线的图匹配问题和一个在线的关系迁移问题。在训练过程中，通过patch级别的图匹配，在具有不同姿势对配置的正样本对中离线的学习得到一个关系模版集合。测试过程中，对于每一对测试样本，选择几对姿势对配置最相似的训练样本对作为参考样本，将这些参考样本的关系迁移到测试样本中以计算特征距离。将该测试样本对与所有参考样本对的特征聚合得到最终的匹配score值。与现有的方法对比，GCT采用了patch级别的图匹配，可以较好的解决由于拍摄视角变化和行人动作变化造成的空间上对不准的问题。

Motivation

对于行人重识别任务，一个最主要的挑战就是由于拍摄视角和行人动作多样的变化造成的图片对之间空间上对不准的问题。大部分现在的方法主要关注的是通过比较图片之间整体的差异解决行人重识别问题，但这些方法忽略了空间上对不准的问题。为解决这个问题，许多工作采用基于局部的方法，这些工作将任务划分成局部的小块，然后进行patch级别的匹配。这些方法在一定程度上解决了空间上对不准的问题，但是由于缺乏空间和视觉语义的上下文信息，在视觉上相似的身体外观或者有遮挡的情况下，这些方法仍然会失败。

本文提出通过图匹配，为正训练样本对学习patch级别的匹配模版，然后将这些patch级别的关系迁移到具有相同pose pair configurations的测试样本对中。在图匹配的过程中，空间上下文信息和视觉上下文信息都利用到了。

Method

GCT方法一共包含三个部分：训练阶段通过patch级别的图匹配学习正样本对之间的关系、通过动作对配置比较选择参考模版、基于关系迁移的patch级别的特征距离计算和聚合。

1. Patch-wise correspondence learning with graph matching

   首先、将图片分解成许多可重叠的patches，然后将每一张图片编码成一个无向的属性图$G=(V,E,A^V)$,每个顶点$v_i$表示图片中的一个分快，每条边编码了连接着的顶点对之间的上下文信息。$A^V=\left\{A^{V_P},A^{V_F}\right\}$是顶点的属性，代表局部分快的空间和视觉特征。

   在训练阶段，给定一个正样本对$I_1和I_2$具有相同的标签$l_1=l_2$，代表同一个人，他们可以分别表示成$G_1=(V_1,E_1,A_1^V)和G_2=(V_2,E_2,A_2^V)$。patch级别的关系学习的目的是建立$V_1$顶点集合和$V_2$定点集合的联系 X ∈ { 0 , 1 } n 1 × n 2 X \in \left\{0,1\right\}^{n_1\times n_2} X∈{ 0,1}n1​×n2​，建立无权图，使得在训练集中同一个人的相似度尽可能的大。$X_{ia}$代表$I_1$中的第$i$个图像块和$I_2$中的第$a$个图像块语义上是有联系的。数学意义上，Patch-wise correspondence learning可以表示成一个整数二次规划。
   arg ⁡ max ⁡ x x T K x s . t . { X i a ∈ { 0 , 1 } , ∀ i ∈ { 1 , ⋯   , n 1 } , ∀ a ∈ { 1 , ⋯   , n 2 } ∑ i X i a ≤ 1 , ∀ a ∈ { 1 , ⋯   , n 2 } ∑ a X i a ≤ 1 , ∀ i ∈ { 1 , ⋯   , n 1 } \arg\max_x \quad x^TKx \\ s.t. \quad \begin{cases} \quad X_{ia} \in \left\{0,1\right\}, \forall i \in \left\{1,\cdots,n_1\right\},\forall a \in \left\{1,\cdots,n_2\right\} \\ \sum_{i}X_{ia} \leq 1,\forall a \in \left\{1,\cdots,n_2\right\} \\ \sum_aX_{ia} \leq 1 ,\forall i \in \left\{1,\cdots,n_1\right\}\\ \end{cases} argxmax​xTKxs.t.⎩⎪⎨⎪⎧​Xia​∈{ 0,1},∀i∈{ 1,⋯,n1​},∀a∈{ 1,⋯,n2​}∑i​Xia​≤1,∀a∈{ 1,⋯,n2​}∑a​Xia​