名称 | Actional-Structural Graph Convolutional Networks forSkeleton-based Action Recognition | Convolutional Neural Networks on Graphswith Fast Localized Spectral Filtering | Deep representation learning for human motion prediction and classification |
---|---|---|---|
目的 | 主要任务:动作识别 次要任务:未来的姿态预测 | 将CNN推广到图 利用GSP工具将CNN推广到图的数学和计算基础 | 开发和研究骨骼人体运动数据的学习表示,作为生成模型和特征提取器 |
特点 | 1、捕捉关节内在依赖关系 2、预测未来帧 | 1、避免了使用显式傅里叶基,计算效率更高 2、多层扩散和节点局部操作 3、能够通过图卷积层提取局部特征和平稳特征 | 1、人体运动数据的特征提取 2、骨骼动作预测 3、卷积滤波器需要覆盖所有关节的范围以捕捉肢体相关性,使卷积发生在时间方向上 4、对整个动作序列进行分类 |
技术 | 1、提出A-link推理模块,用于推断捕获特定于动作的潜在依赖关系的动作链接,将动作连杆组合成广义骨架图 2、多图动作卷积网络(AS-GCN)提取时空信息 3、引入额外的未来姿态预测头 4、每个ST-GCN块包含一个空间图卷积和一个时间卷积,可以同时提取空间和时间特征,最后一个ST-GCN块连接到一个完全连接的分类器,生成最终预测。 关键部分:每个关节相邻特征的加权平均 5、自我监督 6、门控递归单元(GRU)传播信息 7、LSTM学习时间特征 | 1、光谱规划 2、严格局部过滤器 3、高效池 4、TensorFlow 5、在图上设计局部卷积滤波器 6、将相似的顶点组合在一起的图粗化过程 | 1、开发了无监督学习方案,用于长期预测日常人体运动,而不局限于一小组动作 2、笔者团队学习的低维表示可以用于动作分类 3、基于滑动窗口的长期预测 4、主要使用识别作为验证工具 5、GPFA(高斯过程因子分析),揭示事件数据的非线性相关性 |
精确度 | 1、优于目前最先进的方法 2、训练集:37920 测试集:18960 | 1、在动作预测方面的表现优于更复杂的深度学习模型、优于目前最先进的方法,并且能够预测更大范围的运动 2、数据库包含144名不同受试者的2235段录音,录音采样率60hz | |
数据集 | NTU-RGB+D/dynamics两个骨架数据集 | MNIST 20NEWS | CMU mo-cap |
链接 | https://github.com/limaosen0/AS-GCN | https://github.com/mdeff/cnn_graph | 无 |
缺点 | 腿脚次要信息误差大 | 长期预测的预测误差增加 | |
优点 | 未来关节位置的低误差,特别是具有特征的动作身体部位 | 1、低计算复杂度,计算效率高 2、打破了CNN模型不能对内核的局部支持提供精确的控制的限制 | 1、能够推断出未来的框架 2、对特定动作的微调降低了预期误差,在长期预测和原始训练数据中不包含的动作尤其有效 3、能够填充缺失的信息 4、直接将最近的历史传递给模型,从而避免了递归网络训练的困难和周期性运动的趋势 5、低计算复杂度,适用于在线任务 |
相关图 |