论文阅读 Skeleton-based abnormal gait recognition with spatio-temporal attention enhanced

Skeleton-based abnormal gait recognition with spatio-temporal attention enhanced gait-structural graph convolutional networks

Neurocomputing 2022

task

基于骨架特征的步态识别

阅读记录

以前的不足：

递归神经网络（RNN）和纯时间卷积神经网络（TCN）往往是只关注空间特征，没有关注（很少关注）时间特征。
在健康信息学中，数据集通常很小，因为收集患者数据需要许多正式许可和特殊的实验室设置[17]。由于缺乏训练数据，深度模型容易过度拟合，无法很好地推广到新的主题。
一些研究基于先验知识提取手工制作的步态特征，用于异常步态识别[18–20]。然而，手工制作的步态特征表达能力有限，难以推广泛化使用。RNNs和TCNs等深度学习技术因其在处理高维步态数据、降低数据噪声和自动提取数据特征方面的优异性能而被应用于异常步态识别。这些方法显著提高了异常步态识别的性能。然而，由于步态骨架本质上是一系列非欧几里德图，这些方法无法有效地学习骨架关节中潜在的空间关系。
时空图卷积网络（ST GCN）[21]首次将图卷积网络（GCN）应用于基于骨架的动作识别领域。受ST GCN的启发，我们将图卷积网络应用于基于骨架的异常步态识别。首先，我们提出了gait-link来构建空间步态图，并根据步态模式的特点设计了一种新的划分策略。基于新的步态图和划分策略的AGS-GCN能够充分学习异常步态的多尺度时空特征。
此外，为了提取步态模式的细粒度特征，建立了时空注意机制，对关键的步态时空特征进行分层增强，提高了步态分类的准确性和稳定性。
在基于骨架的动作识别领域，人们提出了许多学习自适应骨架图的方法。双流自适应图卷积网络（2s AGCN）通过计算相似度来确定两个顶点之间的连通性[22]。该方法适用于复杂多样的动作识别。但对于异常步态识别，基于临床先验知识的步态连接和分割策略更容易在步态模式分类中获得更好的性能。由于患者数据的收集需要许多正式许可和特殊的实验室设置，因此在异常步态识别领域，很少有基准数据集是开放访问的。虽然2S-AGCN可以实现动作特征的全自动建模，但在有限的数据集上很难获得更好的结果。
基于深度学习的异常步态识别主要使用LSTM网络和TCN对骨骼进行建模，但这些方法无法明确探索关节的空间相关性。

贡献：

首先，我们根据临床先验知识和步态分析中深度传感器的可靠性构建了步态骨架图。设计了一种新的步态图分割策略，从原始骨骼数据中同时提取多尺度步态特征。
此外，为了提取有区别的步态表征，提出了一种时空注意机制来分层增强关键关节的特征。软注意机制可以提高探索细粒度步态特征的能力，缓解深图卷积网络中特征映射的过度平滑问题。
在两个具有不同步态模式数目的异常步态数据集上进行的大量实验和示例表明，我们的系统比最先进的作品实现了更好的性能。

在动作识别中，以骨骼关节为顶点，骨骼为边，构造时空骨架图（图一a）。

对于异常步态识别，我们根据异常步态的特征和人体骨骼结构构建步态图。大量实验证明了Kinect传感器采集的下肢骨骼数据是准确的。基于上述原因，本文仅使用下肢关节的七个节点（左踝、右踝、左膝、右膝、左髋、右髋和脊柱底部）来构建步态图。此外，步态的步长和平衡度是步态分析的重要参数，可以通过左右两侧相应关节之间的关系来反映。我们将左右两侧相应关节之间的连接定义为步态链接gait-link。以下肢七个关节为顶点，骨骼和步态链为边缘，构建一帧空间步态图(图一b)

在基于骨架的GCNs动作识别领域，通过空间图卷积和时间卷积提取深层特征。这种网络结构实际上将三维图卷积分解为二维空间图卷积和一维时间卷积，其中一维时间卷积可以看作是图卷积的一种特殊形式。

步态图是无向图，邻接矩阵是对称的。


图卷积网络[39]是分析图结构数据的有效框架。以X和A为输入，空间GCN在空间维度的分层传播规则如下所示：

根据等式（1），空间GCN是通过全连接层分别变换每个节点的特征，然后通过相邻节点特征的加权平均来更新每个节点的特征。

如图2所示，包含T帧的步态骨架序列被馈送到所提出的AGS-GCN中，该AGS-GCN由三个AGS-GCN块组成，其输出信道数分别为64、128和256。仅时间卷积子模块（TCN）采用1*9标准卷积实现，所有时间卷积层的步长设置为2作为池层。AGS-GCN生成的深度特征通过全局平均池进行下采样，作为最终步态表示。然后，利用一个软最大分类层将步态表示映射到目标空间，进行异常步态识别。最后，利用交叉熵损失对整个网络进行端到端的训练。

**关节轨迹。**下肢关节轨迹是重要的步态特征之一，明显反映了步态模式的属性。以往基于时间卷积的方法只研究了节点轨迹的特征。因此，步态图的根节点被划分为一个单独的子集，该子集的邻接矩阵为Aroot=I。

**关节角度。**关节角度是临床步态分析中常用的步态运动学参数之一。在基于骨架的异常步态识别中，关节角通常由三个相邻关节的坐标和逆三角函数来求解。因此，仅通过一根骨骼连接到根节点的关节被标记为第二个子集。

步态链接。在步态图中，我们引入了步态链接，它可以反映步态特征，如步长和平衡。通过步态链接连接到根节点的节点被标记为最后一个子集。







由于过度拟合，随着注意头数量的增加，精确度降低。一般来说，步态连接和单头时空注意可以提高模型的识别性能和训练稳定性。



表三 步行步态数据是在跑步机上收集的。物体与深度传感器之间的相对距离是固定的，这使得数据具有较少的噪声。**这种收集方法使得数据集相对容易识别异常步态，这可能是我们的模型在步行步态数据集上达到100%准确率的原因之一。**此外，ST-GCN和以全身骨骼为输入的2 s-AGCN的精度达到99。73%和99%。ST-GCN和仅以下肢骨骼作为输入的2 s-AGCN的准确率分别为91%和100%。分别为82%。这也证明了应用基于GCN的模型来学习异常步态的空间特征是一种正确的探索。

表四

与不学习关节空间关系的LSTM方法相比，基于GCN的模型可以提取出更具辨别力的异常步态的时空表示。

与基于先验知识的手工特征相比，我们的端到端模型可以避免遗漏重要的步态特征，从而降低分类性能的下降。

此外，我们在MMGS数据集中添加了ST-GCN和2S-AGCN的实验，以进行比较，这两种方法可以处理全身关节。实验证明，消除冗余信息有利于异常步态的识别。提出的以下肢骨架为输入的AGS-GCN比ST-GCN和2S-AGCN具有更好的性能，这证明了简化的网络结构有助于避免过度拟合。

说明

以上内容均为作者本人平时阅读并且汇报使用，内容整理全凭个人理解，如有侵权，请联系我；内容如有错误，欢迎留言交流。转载请注明出处，并附有原文链接，谢谢！

此外，我还喜欢用ipad对论文写写画画（个人英文阅读的水平有限），做一些断句、重点勾画等，有兴趣大家可以按需下载：链接

更多论文分享，请参考： 深度学习相关阅读论文汇总（持续更新）