2020cvprSGNSemantics-Guided Neural Networks语义引导的神经网络

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

骨架信息分为语义信息和动力学信息
动力学信息指3D坐标
语义信息是指 关节类型和帧索引
文章将语义信息和动力学信息结合，提出一个关节级模块和帧级模块提取提取空间特征和时间特征。

一、网络结构

二、各层具体

1.DR层

Dynamics Representation动力学表示，对输入数据加了两个全连接层，采用relu来作为激活函数

2.关节级建模Joint-level Module

代表关节类型的one-hot向量，第k维为1，其他全为0，表示是第k个关节
文章计算了同一框架内所有关节对的亲和度，得到了邻接矩阵S，计算亲和度的公式是分别对两个关节都通过一个全连接层之后作内积得到的。对St的每一行进行以SoftMax为的归一化处理，使得与目标节点相连的所有边值之和为1。有了邻接矩阵后面就是图卷积了，文章用了三层图卷积，而且三层图卷积层都加了残差分支。

3.帧级建模Frame-level Module

代表语义信息的帧索引和关节级模块输出相加，帧索引同样是一个one-hot向量
先用了一个空间Max pooling来聚合信息 ，接着是两层CNN和时间Max pooling

---