步态识别论文（5）HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait Recognition

HiH:无约束步态识别层次网络中的多模态层次

摘要

步态识别在受控环境中取得了可喜的进展，但由于视角变化、遮挡和行走速度变化等挑战，它在不受约束的环境中面临巨大挑战。此外，由于跨模态不兼容，融合多种模式的努力往往面临有限的改进，特别是在室外场景中。为了解决这些问题，我们在层次网络 中提出了一个多模态层次结构，该网络集成了轮廓和姿势序列以实现稳健的步态识别。HiH 的特色是它的主要分支，这个分支利用分层步态分解器 (HGD) 模块对来自轮廓数据的一般步态模式进行深度和模块内分层检查。这种方法从整体身体动力学到详细的肢体运动捕捉运动层次结构，促进了跨多个空间分辨率的步态属性的表示。作为补充这一点，基于二维关节序列的辅助分支丰富了步态分析的空间和时间方面。它采用可变形空间增强(DSE)模块进行姿态引导的空间注意和可变形时间对齐(DTA)模块，通过学习的时间偏移来对齐运动动力学。跨不同室内和室外数据集的广泛评估表明 HiH 的最先进性能，证实了准确性和效率之间的平衡权衡。

motivation 

问题

一、motivation 背景是什么？

1.视角变化、遮挡和行走速度变化等挑战，步态识别在不受约束的环境中面临巨大挑战

2.跨模态不兼容

二、创新点是什么

主分支（分层步态分解器 (HGD) 模块和辅助分支（基于二维关节序列的辅助分支）两分支结构是跨模态的

有什么主要模块？

主分支的分层步态分解器 (HGD) ——对来自轮廓数据的一般步态模式进行深度和模块内分层检，这种方法从整体身体动力学到详细的肢体运动捕捉运动层次结构

基于二维关节序列的辅助分支——丰富了步态分析的空间和时间方面。

采用可变形空间增强(DSE)模块，进行姿态引导的空间注意和

 可变形时间对齐(DTA)模块，通过学习的时间偏移来对齐运动动力学

introduction

鉴于所讨论的挑战，我们建议建模步态的两个互补方面:一般步态运动模式和动态姿态变化，如图1右侧所示。一般模式，可以从轮廓序列中提取，指的是运动步态层次，通过跨场景一致的生物力学表现出来，从而增强了模型的泛化。同时，我们使用二维关节来表示行走过程中不断变化的姿势。它们规避了三维骨架估计的潜在不准确性，特别是在不受约束的情况下。此外，将二维关节映射到图像平面上有助于与轮廓特征融合并学习时空偏移以进行基于变形的处理。（“学习时空偏移以进行基于变形的处理”，这意味着模型能够学习步态在时间序列上的变化，以及这些变化如何影响步态的整体形态。）

基于分层步态分解器（HGD）模块的步态建模方法。该模块通过深度方向和模块内部两个层次的架构来解析运动学层次结构

在深度方向层次结构中，级联的HGD模块逐层将运动分解为更局部化的动作。这种设计使得模型能够逐步学习越来越精细的特征。随着层级的加深，模型能够捕获到步态中更细微、更具体的动作细节。

在模块内部层次结构中，每个HGD模块都融合了多尺度特征，从而丰富了全局和局部表示。这有助于模型在理解步态的整体结构的同时，也能关注到关键的局部细节。通过跨模块和模块内的层级结构联合建模，主分支能够有效地捕捉具有判别力的步态特征。这些特征不仅反映了步态的整体模式，还包含了重要的局部动作细节。

为了进一步增强主分支的性能，辅助分支利用二维姿态序列来强化HGD模块的空间和时间处理能力。在空间上，可变形空间增强（DSE）模块根据姿态输入突出显示关键局部区域，使模型能够更准确地关注到与步态相关的关键部位。在时间上，可变形时间对齐（DTA）模块通过减少冗余帧和基于学习到的偏移量提取紧凑的运动动态，帮助模型更好地捕捉步态的时间变化。

通过提供姿态线索，辅助分支增强了主分支所学表示与实际步态运动之间的对齐。这种设计使得整个模型能够更好地理解和识别不同个体的步态特征，提高了步态识别的准确性和鲁棒性。

总的来说，这种基于分层步态分解器的步态建模方法通过结合深度方向和模块内部的层级结构，以及利用二维姿态序列进行空间和时间增强，为步态识别提供了有效的解决方案。