Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks（一）论文阅读

MS-AAGCN_2019

Author：Lei Shi, Yifan Zhang, Member, IEEE, Jian Cheng, Member, IEEE, and Hanqing Lu, Senior Member, IEEE
github:https://github.com/lshiwjx/2s-AGCN

Abstract

作者提出了一种新的多流注意增强自适应图卷积神经网络（MS-AAGCN），用于基于骨架的动作识别。作者模型中的图拓扑可以基于端到端的输入数据统一地或单独地学习。
创新点：

1. An adaptive graph convolutional network is proposed
   to adaptively learn the topology of the graph in an end to-end manner.

图拓扑可以基于端到端的输入数据统一地或单独地学习。这种数据驱动的方法增加了模型的灵活性，使其更具通用性，以适应不同的数据样本。

2. A STC-attention module is proposed
   and embedded in each graph convolutional layer, which can
   help model learn to selectively focus on discriminative joints,
   frames and channels.

通过一个时空通道注意模块进一步增强了自适应图卷积层，使模型更加关注重要的关节、帧和特征。

3. The second-order information (bones)
   of the skeleton data is firstly formulated and combined with
   the first-order information (joints) in this work, which brings
   notable improvement for the recognition performance.

建立了骨架数据的二阶信息（骨骼），并与一阶信息（关节）结合，在多流框架下，对关节和骨骼的信息以及它们的运动信息进行了同步建模，提高了识别精度。(后面会具体讲一阶信息和二阶信息的具体概念)

Introduction

首先陈述ST-GCN的缺点（对于ST-GCN不了解的读者，可以查阅我之前的博客ST-GCN学习之路），有三个方面：

1. 对于在人体图上相距较远的节点ST-GCN很难捕捉到他们的依赖关系。如拍手、阅读等动作，两只手的关联很大，但是在ST-GCN中因为两只手在图上的距离很大，其关联性并没有得到体现。
2. 神经网络是分层的，不同的层包含不同的语义层次。然而，ST-GCN中应用的图的拓扑结构在所有层上都是固定的，缺乏对不同层中包含的多级语义进行建模的灵活性和能力。
3. 对于不同动作类的所有样本，一个固定的图结构可能不是最优的。对于“擦脸”和“触头”等动作，手和头之间的联系应该更紧密。而对于"系鞋带"，手和脚之间的关系应该更紧密。

上述三点说明了：图的结构不应该是预先启发式的根据人体结构定义，而应该是由数据驱动(训练)形成的。

Related Work

介绍了人体动作识别从2D手工设计特征到ST-GCN的发展过程。

GRAPH CONVOLUTIONAL NETWORKS

这部分基本上就是回顾了ST-GCN里时空图卷积的公式，有ST-GCN基础的读者可以大致回顾一下。不过我认为这篇文章里分析ST-GCN公式竟然比原文里解释的更清楚（迷惑操作）

A.Graph construction

一帧中的原始骨架数据总是由一系列向量表示。每个矢量表示相应人体关节的二维或三维坐标。一个完整的动作包含多个帧，对于不同的样本具有不同的长度。我们使用时空图来模拟这些关节之间的空间和时间维度的结构化信息。这里，空间维度是指同一帧中的关节，时间维度是指所有帧上的相同关节。
  图1中的左子图示出了构造的4个时空骨架图的示例，其中关节表示为顶点，它们在人体中的自然连接表示为空间边（图1中的橙色线，左）。对于时间维度，两个连续帧中的对应关节与图1（左）中绿线所示的时间边缘连接。将每个关节的坐标矢量设置为对应顶点的属性。由于图是内在的，并且是基于人体的自然连通性而构建的，我们称之为 human-body-based图。
  

B. Graph convolution

图结构如上定义，对于空间维度。顶点$v_i$ 上的图卷积操作表示为：
$$f_{out}=\sum _{v_{tj}\in B(v_{ti})}\frac{1}{Z_{ti}(v_{tj})}{f}_{in}(v_{tj})w(l_{ti}(v_{tj}))\text{\hspace{1em}(1)}$$

C. Implementation

MULTI-STREAM ATTENTION-ENHANCED ADAPTIVE

在本节中，我们详细介绍了multi-stream attention-enhanced adaptive graph convolutional network (MS-AAGCN)的细节。

A. Adaptive graph convolutional layer

上面说了基于人体的骨架图，计算骨架数据的时空图卷积，并不是一种好的方法（具体见上面ST-GCN的缺点）。为了解决这个问题，我们提出了一个自适应图的卷积层。它以端到端学习的方式对图的拓扑结构和网络的其他参数进行了优化。
将原来空域卷积层式中的$A_k$改为两个子图$B_k和C_k$的加权和：$B_k+\alpha C_k$：
$$f_{out}=\sum _k^{K_v}{W}_k{f}_{in}(B_k+\alpha C_k)\text{\hspace{1em}(3)}$$
下面分别介绍两个子图是怎么得到的。

The first sub-graph ($B_k$)

$B_k$是从数据中学习到的全局图。它用基于人体的图的邻接矩阵$A_k$进行初始化，与$A_k$不同的是，$B_k$的元素在训练过程中与其他参数一起被参数化和更新。对$B_k$的值没有约束，这意味着该图是完全根据训练数据学习的（也就是说不会有人体关节之间的连接关系的约束）。除此之外，$B_k$在每一个卷积层都是独特的，因此对不同层中包含的不同语义级别更为个性化。

The second sub-graph ($C_k$)

$C_k$是每个样本的私有图，对于每个样本来说$C_k$都独一无二(或者说是独立的)。因为对于每个卷积层每一次前向传播来说，我们都需要计算一次$C_k$，相比之下$B_k$就不用根据输入样本而进行改变。（下面的卷积层示意图会更清楚的表达这一点）
相似矩阵$C_k$的计算方式为：
$$C_k=softmax(f_{in}^T{W}_{\theta k}^T{W}_{\varphi k}{f}_{in})\text{\hspace{1em}(4)}$$
其中，$f_{in}\in {\mathbb{R}}^{C_{in}\times T\times N}$是输入的特征图，我们想将它映射到${\mathbb{R}}^{C_{in}\times T\times N}$的空间，因此我们选用两个$1\times 1$的可学习的卷积核$W_{\theta k}$和$W_{\varphi k}$，$W_{\theta k}\in {\mathbb{R}}^{C_e\times C_{in}\times 1\times 1}$,$W_{\varphi k}\in {\mathbb{R}}^{C_e\times C_{in}\times 1\times 1}$。所以$f_{in}^T{W}_{\theta k}^T\in {\mathbb{R}}^{N\times T\times C_e}$，$f_{in}{W}_{\varphi k}\in {\mathbb{R}}^{C_e\times T\times N}$。从而得到$sofmax()$内的形状为${\mathbb{R}}^{timesN\times N}$。再经过$sofmax()$对其中元素进行归一化。$C_k$中的元素$C_k^{ij}$即表示顶点$v_i$和顶点$v_j$之间的相似性。文中把这种方法称为normalized embedded Gaussian function to estimate the feature similarity of the two vertexes
(代码中这里的$C_e$ 是输出通道除以 $4$ ，个人认为$1\times 1$的卷积核就是整合通道间的数据，而除以$4$的目的是减少$1\times 1$卷积核的计算量，只要控制输出通道是$N\times N$就行了。(这里其实我不是太懂为什么这个$N\times N$矩阵体现了关节顶点之间的相似性，有知道的小伙伴也可以留言讨论一下)

Gating mechanism

这里的Gating mechanism的意思其实很简单，就是将$B_k$和$C_k$通过一个可学习的参数$\alpha$线性组合在一起。而且这个$\alpha$在每一层卷积层里都是不同的，这也丰富了模型的表达能力。

综合上面三个机制，每一层再添加了一个残差连接。即得到了本文Adaptive graph convolutional layer卷积层的结构：(个人觉得则张图做的非常好，这里还要注意一个点，就是这个$K_v$沿袭了ST-GCN对每个节点周围节点集合划分成三个子集的方式)

在实验中，我们发现图拓扑在训练过程的早期发生了显著变化，导致模型不稳定，影响模型的收敛性。为了稳定训练水平，我们尝试了两种策略。

1. The first strategy is using $A_k+\alpha B_k+\beta C_K$as the adjacency matrix.where $A_k$ is the human-body-based graph which is fixed. The $B_k$, $C_k$, α and β are initialized to be 0, thus the $A_k$ will dominate(主导) the early stage of the training.
2. The second strategy is initializing the $B_k$ with $A_k$ and blocking the propagation of the gradient for $B_k$ at the early stage of the training process until the training stabilizes.

经过作者的实验证明，第二种方法略微好于第一种方法。

B. Attention module

提出了 STC-attention module：spatial attention module(SAM), temporal attention module(TAM) and channel attention module(CAM)。（空间、时间、通道三个维度的注意力模块）

这里用到的attention机制是类似于SeNet和CBAM中的机制，以通道注意力模块(SAM)为例：

首先通过一个global average pooling，公式为：

把 $W\times H\times C$的特征图转化为$1\times 1\times C$的向量(即将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，它表征着在特征通道上响应的全局分布。)接下来就是通过$F_{ex}$操作：

这里先用$W_1$乘以z，就是一个全连接层操作，$W_1$的维度是$C/r\times C$，$C/r$可以把它看作是全连接层中的隐藏层，r参数的目的是为了

1. 具有更多的非线性，可以更好地拟合通道间复杂的相关性；
2. 极大地减少了参数量和计算量。然后通过一个 Sigmoid 的门获得 0~1 之间归一化的权重，最后通过一个 Scale 的操作来将归一化后的权重加权到每个通道的特征上。

然后再经过一个ReLU层；然后再和W2相乘，和W2相乘也是一个全连接层的过程，W2的维度是$C\ast C/r$，因此输出的维度就是$1\times 1\times C$；最后再经过sigmoid函数，得到s。
最后是一个 Reweight 的操作，我们将 输出的s看做是每个特征通道的重要性(权重)，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的reweight，公式为：

上述就是通道注意力模块的构建过程。类比通道注意力模块，作者构建出了空间注意力模块和时间注意力模块：

STC每个模块中在乘上原feature map后再通过残差连接：

作者在原文中还提到了STC中三个模块的顺序问题，在Experiment中给出了三个模块按不同顺序放置对于最终效果的影响，最终得出以S-T-C顺序放置效果最好。

C. Basic block

在时域上的卷积和ST-GCN相同。下图中给出了一个网络基本单元的示意图，其中Convs表示Adaptive graph convolutional layer，Convt表示在时域上的卷积。

performing the $K_t$ × 1 convolution on the C × T × N feature maps. Both the spatial GCN and the temporal GCN are followed by a batch normalization (BN) layer and a ReLU layer. As shown in Fig. 4, one basic block is the series of one spatial GCN (Convs), one STC-attention module (STC) and one temporal GCN (Convt). To stabilize the training and ease the gradient propagation, a residual connection is added for each basic block.

D. Network architecture

网络的总体架构是这些基本块的堆栈（图4）。一共有9个块。每个块的输出通道数为64、64、64、128、128、128、256、256和256。在开始处添加一个数据BN层以规范化输入数据。在结束时做一个全局平均池化，最后的输出被发送到softmax分类器以获得预测结果。每一层下面的三个数分别代表：输入通道数、输出通道数、步长

As shown in Fig. 5, the overall architecture of the network is the stack of these basic blocks (Fig. 4). There are a total of 9 blocks. The numbers of output channels for each block are 64, 64, 64, 128, 128, 128, 256, 256 and 256. A data BN layer is added at the beginning to normalize the input data. A global average pooling layer is performed at the end to pool feature maps of different samples to the same size. The final output is sent to a softmax classifier to obtain the prediction.

E. Multi-stream networks

Multi-stream在文中体现位四个流，这四个流分别为：关节点流、骨骼向量流、关节点-动量流、骨骼向量-动量流。针对这四个流，分别训练四个预测网络，最终利用加权求和将四个流的softmax score进行融合，得到动作分数并预测动作标签。

上面图中L对应的是bone（骨骼向量）这个地方应该是论文误标成了L。下面说明一下这四个流的输入怎么计算，鉴于文中在这一块写的很简略，本人按照自己的理解阐述，如果有错误欢迎在评论指正：
首先J-Stream就是最直接的关节点输入，他为${\mathbb{R}}^{Batchsize\times C_{in}\times T\times N}$。
关节向量L-Stream的输入计算方法为：首先寻找一个人体骨骼的重心，就是人胸腔部分关节点作为中心点，因为每个骨骼向量都有两个关节点，把靠近中心点的关节看做源关节（source joint），远离中心点的关节看做目标关节（target joint）。所以说关节就是点，骨骼就是从一个点指向另外一个点的向量，向量的长度就是骨骼的长度，向量的方向就是骨骼的方向。数学上表达为：

如果骨骼节点一共有N个，那么按这种方法构建出来的关节向量就有N-1个。其中，因为我们预先设置的重心点（胸腔关节点）一直会被当做源关节，因此我们将重心点在骨骼向量流-网络的输入对应值设定为0。这样我们就也可以得到一个维数为${\mathbb{R}}^{Batchsize\times C_{in}\times T\times N}$的输入了。

接下来就是动量M的计算部分，这部分比较简单，就是将关节点和骨骼向量的$t+1$时刻的${\mathbb{R}}_{t+1}^{Batchsize\times C_{in}\times N}$特征和$t$时刻的${\mathbb{R}}_{t+1}^{Batchsize\times C_{in}\times N}$特征相减，相当于是对输入在时间维度上做一个后向差分，得到一个全新的输入。这样子就构建出了L-M流和J-M流。具体公式如下：

Experiment

这部分主要讲的是模型的效果和训练时的Detail设置，需要的读者可以自行查阅论文。

Summary

本篇论文是ST-GCN的一篇改进之作，其中不受人体骨骼物理节点约束，构建自适应图的方法十分新颖，另外注意力机制和多流的思想也是比较好的创新。但是它不好的地方在于与ST-GCN相比参数太多，导致整个网络过于冗大了。接下来还会出一篇关于它的源码解读的博客。
参考文献：
论文笔记–Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks
【骨骼行为识别】2s-AGCN论文理解