浅谈对Skeleton-Based Action Recognition with Directed Graph Neural Networks，基于骨架的有向图神经网络动作识别理解

作者提出因为骨骼数据中的关节和骨骼信息对动作识别任务都有很大的帮助，所以研究出一种利用关节和骨骼之间的关系即人体骨头的方向和长度还有与关节点坐标信息的互补来完成一个动作识别的任务非常具有优势。作者首次将骨骼数据表示为一种有向无环图。在骨骼中引入方向进一步挖掘出骨骼，关节与动作识别之间的关系。并且还设计了一个相对应的有向图卷积网络。因为数据集是原始骨架数据是一系列帧，每个帧都包含一组关节坐标。给定骨骼序列，和关节的二维或三维坐标。作者会先把将每个帧中的关节和骨骼（空间信息）表示为有向无环图中的顶点和边缘。并将其输入有向无环图神经网络（DGNN）中提取特征进行动作识别。最后与基于RGB视频的CNN卷积提取空间信息相结合进一步提高性能。 因为骨骼表示为两个连接关节之间的坐标差，一般处理骨骼数据方法都是将骨架数据建模为一个向量序列或一个伪图像，然后投喂到RNNs或CNNs处理。但是，这样话无法提取到关节和骨骼之间的依赖关系。以前骨骼数据的处理都是把它看成一个树形结构，但是在论文中作者把它重新定义为向非循环图(DAG)，关节为顶点，骨骼为边。每条边的方向由顶点和根顶点之间的距离确定。类似于下图这种：

相邻关节骨骼方向离根顶点较近的顶点指向离根顶点较远的顶点，比如手腕的关节由肘部的关节指向它，通过这种有向图方式表示相邻关节之间上下依赖关系。剩下问题如何使用这些依赖关系对动作识别进行一个提升。作者提出了一种有向图神经网络（DGNN），通过邻接矩阵设置为骨骼序列相邻关节依赖关系初始权重的网络参数标签，但是在图卷积基础上提取一个关节及其传入边，传出边的关节和骨骼信息。经过过DGNN的处理得到n个关节的m个特征向量。由这个特征向量中的最大值所表示的局部关节的动作依赖权重值与动作分类形成一个一一映射关系已达到动作识别的目的。最后通过加上RGB视频的CNN卷积得到时间空间信息的特征向量使得模型识别精度得到一个进一步提高。