CVPR2020步态识别论文翻译(一)：GaitPart: Temporal Part-based Model for Gait Recognition

GaitPart: Temporal Part-Based Model for Gait Recognition
基于时间部件的步态识别模型
作者 | Chao Fan, Yunjie Peng, Chunshui Cao, Xu Liu, Saihui Hou, Jiannan Chi, Yongzhen Huang, Qing Li, Zhiqiang He
单位 | 北京科技大学；北航；WATRIX.AI；联想
代码 | https://github.com/ChaoFan96/GaitPart

Abstract

步态识别应用于在长距离中识别个人的行走模式，是最有发展前景的视频生物特征识别技术之一。目前，大多数的步态识别方法都是将整个人体作为一个单元来建立其时空表征。然而，我们已经观察到，在行走过程中，人体的不同部位表现出明显不同的视觉形态和运动模式。在最近的文献中，利用部分特征描述人体特征已被证实有利于个体识别。综合以上观点，我们假设人体的每个部分都需要自己的时空表达。在此基础上，我们提出了一种新的基于部分的模型GaitPart，并得到了提高性能的两方面效果:一方面，提出了卷积的一种新的应用——聚焦卷积层，以增强部分层次空间特征的细粒度学习。另一方面，提出了微动作捕捉模块(MCM)，在微动作捕捉模块中有多个并行的MCM，分别对应于预先定义的人体部位。值得一提的是，MCM是一种新的步态任务时态建模方法，它关注的是周期步态的短期特征，而不是冗余的长期特征。在两个最流行的公共数据集CASIA-B和OU-MVLP上进行的实验充分证明了我们的方法在多个stan-dard benchmarks中满足了最新的技术水平。

1. Introduction

步态是描述一个人行走模式的一种生理和行为生物特征。与其他生物识别方式相比，比如面部、指纹和虹膜。它可以很容易地在远距离捕获，不需要感兴趣目标主题的合作。因此，步态识别在犯罪调查、门禁和社会安全方面具有巨大的潜力。步态识别作为一项视觉识别任务，其基本目标是从人体形态的时间变化特征中学习独特的、不变的表征。然而，在现实场景中，变化，如拎包，穿衣服和摄像机视点导致步态外观的巨大的变化，这给步态识别带来重大挑战。为了缓解这些问题，许多基于深度学习的方法已经提供了很有前途的解决方案[30,25,5,26,18,29,21,14]。Thomas等[25]利用3D-CNN对时空信息进行解析，试图找到人类步态的基本描述符。GaitNet[30]提出了一种自动编码器框架，从原始RGB图像中提取步态相关特征，然后使用LSTMs对步态序列的时间变化进行建模。而GaitSet[5]则假设轮廓的外观包含了其位置信息，因此将步态视为可提取时间信息的序列。这些方法将整个人体形状作为一个单元来提取时空信息，以进行最终的识别。然而，我们观察到人体不同部位在行走过程中具有明显不同的形状和运动模式，如图1(a)所示。

[6, 15, 20, 5, 12, 13, 19, 28]的更多证据表明，人体描述的部分特征可以提供更精细的信息，有利于个性化识别任务。对于时间变化特征，一些最新的方法没有明确地建模时间特征，这导致在时间序列中丢失重要的不变特征[23,7,3,26]。其他一些方法通过深度叠加3d-卷积或重复操作来建模远程依赖关系，以再现步态序列的全局理解[25,30]。然而，这些方法被认为保留了不必要的长时间序列约束周期步态，从而失去步态识别的灵活性[5]。
基于上述研究结果，我们假设人体的各个部位都需要有自己的表达方式，其中局部的短程时空特征(微动pat- terns)是对人体步态最具区别性的特征因此，我们提出了一个新的基于时态部分的框架GaitPart。如图1(b)所示，步态-部分由两个新颖设计的部件组成，即步态-部分。，帧级部件特征提取(FPFE)和微动作捕捉模块(MCM)。
GaitPart的输入是一系列步态轮廓。
FPFE，一个特殊但简洁的堆叠CNN，首先采取
将每一帧作为输入，然后对输出的feature map进行预定义的水平划分。
这样，我们可以得到图1(b)中重新上色的几个部分级空间特征序列，每个序列都对应于人体的某个预定义部分，相应的MCM将捕捉其微运动模式。
注意，这些并行mcm之间的参数是独立的，这反映了GaitPart是一种部分独立的方法。
最后的步态表征是通过简单地简化这些MCMs的输出来形成的。
更具体地说，我们作出以下三大贡献。
1.在FPFE中，我们提出了一种简单而有效的卷积应用，称为焦点卷积(focalconvolution, FConv)，以促进部分层次空间特征的细粒度学习。其核心思想是让顶层的卷积核关注输入帧中每个特定部分的更多局部细节，直观地挖掘出更细粒度的局部信息。
2.在MCM中，我们认为局部的短时空间特征(微运动模式)是对周期性步态最具鉴别性的特征，而长期的依赖关系是冗长和低效的。此外，还提出了一种基于注意力的MCM来模拟局部微运动特征和对整个步态序列的全局理解。
3.我们提出了一种新的基于时间部分的步态识别框架，称为GaitPart。在广泛使用的步态数据库CASIA-B[17]和OU-MVLP[21]上进行的大量实验表明，GaitPart大大优于现有的先进步态方法，显示了其优越性。在CASIA-B[17]上进行了大量严格的消融实验，进一步证明了GaitPart内各部件的有效性。

2. Related Work

步态识别大多数最新的作品都以空间特征提取和时间建模为重点[16,23,7,3,26,2,1]。
对于第一个问题，之前基于CNN的研究通常对整个feature map执行常规的2-D[30,5]或3-D[25,27]卷积操作。这种空间尺度上的统一操作是很自然的，并且得到了广泛的应用，但是这些方法忽略了在步态任务中人体各部位之间的显著差异。为了得到时空表征，许多方法倾向于明确地对