Inter-Task Association Critic for Cross-Resolution Person Re-Identification论文整理理解

Inter-Task Association Critic for Cross-Resolution Person Re-Identification论文整理理解

不受约束的监控摄像机捕捉的人物图像通常分辨率很低。当与高分辨率(HR)图库图像进行匹配时，这会导致分辨率不匹配问题，对行人重识别(re-id)的性能产生负面影响。一个有效的方法是利用图像超分辨率(SR)和人的re-id联合学习的方式。但是由于训练过程中反向传播的梯度非常困难，因此该方案具有一定的局限性。在本文中引入了一种新的模型训练规则化方法，称为Inter-Task Association Critic (INTACT)，以解决这一基本问题。其中INTACT发现了图像SR和行人re-id之间的潜在关联知识，并将其作为额外的学习约束，以增强SR模型与re-id在HR图像空间中的兼容性。这是通过参数化关联约束来实现的，这使得它能够从训练数据中自动学习。在交叉分辨率re-id任务上，使用5个标准行人re-id数据集，广泛的实验验证了INTACT优于最先进的方法的优越性。

行人重识别(re-id)的目的是在图像捕获的独立监控摄像头视图上匹配身份信息。大多数现有的方法假设探针和图库图像具有相似的和足够高的分辨率。然而由于相机和行人之间的距离不受限制，人的图像往往是在不同的分辨率捕获。这种不匹配的分辨率问题给re-id带来了重大挑战。由于低分辨率(LR)图像比高分辨率(HR)图像包含的身份细节信息要少得多，因此在不同分辨率上直接匹配它们会导致大量的信息性能下降。

许多交叉分辨率re-id方法已被开发用于解决分辨率不匹配问题。它们通常分为两类:(1)学习分辨率不变表示和(2)利用图像超分辨率(SR)。第一类的目标是学习LR和HR图像共享的特征表示空间，但由于LR图像中不存在，因此往往会丢失细粒度的鉴别细节。第二类可以通过采用级联SR和re-id的多任务联合学习框架来解决这一局限性。但是，由于通过级联的模型向后传播梯度的难度显著增加，因此这种设计存在模型训练无效的问题。因此，SR模型与re-id的兼容性较差。最近有将这两种方法结合在一个统一的框架中，以提高交叉分辨率re-id的性能，但仍然没有解决上述问题。

如图所示。交叉解决人员重新识别的说明。低分辨率(LR)查询图像和高分辨率(HR) 查询图像之间的分辨率不匹配导致特征分布不一致，最终导致较差的身份匹配性能。一种有效的解决方案是使用图像超分辨率(SR)模型增强LR查询图像的分辨率，以缓解与HR查询图像的分布差异。

在本研究中通过引入一种名为Inter-Task Association Critic (INTACT)的新规则来解决这个问题。INTACT是一种任务间的关联机制，它将联合学习中两个独特的任务进行平滑。在设计上，它由一个级联的多任务(SR & re-id)网络和一个关联评论网络组成。其目的是增强SR和re-id之间的兼容性，即超分辨LR人员图像，使所分辨的图像适合于re-id模型在HR图像空间中进行身份匹配。它通过两个部分实现:(I)我们用专用网络参数化(未知的)任务间关联约束，这使得它可以直接从人力资源培训数据中学习。(II)一旦学会，扮演一个批评家的角色，然后应用关联约束来监督SR模型。这意味着SR模型训练进一步受到约束，以满足学习后的任务间联想