Context Aware Graph Convolution for Skeleton-Based Action Recognition

Introduction

目前很多图卷积网络的各种变种都是有效的，然而他们大多以局部的方式实现卷积操作，仅仅从中心节点小范围的邻居提取特征。大的感受野有益于把关节动作作为一个整体来理解。堆叠多重图卷积层是一种直接增加感受野的方式，但他的缺点是容易多度很衡量目标的优势，在堆叠多层卷积时，场长范围的依赖必须被解决，最重要的是远距离的的关节只能通过中间关节进卷积层间接的与其他关节产生联系，这阻碍了信息的交换，而且带来了多余的计算。
因此我们提出了CA-GCN，我们提出了不同的方法来计算关节间的联系，能显著的获得长范围的依赖而不需堆叠多重卷积层。换句话说，CA-GCN以更少的参数需求（实验中减少了2/3的网络深度）实现了经典GCN同样的表现能力。此外我们还提出了一个进一步升级的版本模型，他使用更多抽象表征作为关系衡量标准和上下文计算。

Method

我们用$G=(V,E)$表示一个图，他包含$N_v$个点，在$l$-$th$层，每一个节点$v_i$对应一个特征向量$z_i^l$，对应特征图$[z_1^l,...,z_N^l]$表示为$H^l$,每一个边$e_{ij}$也有一个特征向量$e_{ij}^l$，对应的特征图为$H_e^l$，此外，每个图对应一个邻接矩阵$A$， A i j ∈ { 0 , 1 } A_{ij}\in \{0,1\} Aij​∈{0,1}表示点$v_i$和$v_j$是否存在边。

Light CA-GCN

Context Generation 三个关系函数：
(i)Inner product：$Rele(z_i^l,z_j^l)=(z_i^l{)}^T\cdot z_j^l$
(ii)Bi-liner form：$Rele(z_i^l,z_j^l)=(z_i^l{)}^T{W}_b^l{z}_j^l$
(iii)Trainable relevance score： { r i j l ∣ v i , v j ∈ V } \{r_{ij}^l|v_i,v_j\in V\} {rijl​∣vi​,vj​∈V}
这些方程有不同的特点，而且适用于不同的情形。(iii)是表现最好的，但他仅仅适合固定图，其他两个不依赖于图结构。(ii)一般情况下表现比(i)更好，(i)的优点是不会导致额外的训练负担，而且更高效。
在每一层生成context term $c_i^l$:

$W_c^l$是可训练矩阵变换context term的维度，$b_c^l$是可训练偏重向量，$\sigma$是非线性方程。如果使用(iii)，$Rele(z_i^l,z_j^l)$替换为$r_{ij}^l$，$l$层N个context terms的串联$[c_1^l,,,c_N^l]$表示为$C^l$。
Context Aware Convolution 在得到context map $C^l$后，我们应用一个聚合函数$Inte()$聚合上下文信息和之前提到的节点特征图$H^l$为背景特征图$H_c^l$，聚合函数$Inte()$分addition和concatenation，如此当执行卷积操作时，全局上下文信息能被聚合。$W$是一个可训练的矩阵，被用来改变$H_c^l$的维度:


实验表明我们的轻量模型能显著的提升经典GCN模型，但人有待提升的方面。
首先，內积和双线性方法关系函数直接计算的两个节点的特征向量，没有做任何修改，这缺少灵活性。在第一层节点特征向量是关节的空间坐标，及时在某个动作中两个关节高度相关，如果他们的坐标向量近似正交，那他们的相关性任然接近0，这显然是不合理的。当计算$v_i$的context时，$v_i$和其他结点的背景信息聚合很困难，因此节点之间的关系衡量标准应该是非对称的。这考虑对內积和双线性关系函数是特有的，trainable score不依赖于节点特征，而是通过最小化分类损失来直接发现最优关联性。
第二，context term是通过图中结点的特征向量的加和计算得到的，这意味着相似的特征向量集将参与卷积和上下文的计算。然而，卷积和上下文计算所需的表示可能不相同，因此最适合卷积计算的向量也不一定是上下文计算的最佳表示。因此，每个顶点可能需要两个独立的表示来表示计算上下文和卷积。
鉴于这两个考虑，我们提出了高级CA-GCN。

Advanced CA-GCN

对于第一个问题，我们为內积和双线性关联函数提出了两个更高等级的表征。在上下文卷积期间，我们把计算上下文的中心节点称为接收者，节点被聚合的称为发送者。为了增加关联性更多的灵活性和非对称性，我们首先对每一个节点提取两个更高等级的向量$R(z_i^l)$和$S(z_i^l)$

$W_R^l$和$W_R^l$是训练矩阵，$b_R^l$和$b_R^l$是偏重，关联性函数重新建模为$Rele(R(z_i^l),S(z_j^l))$，非对称性表示为$Rele(R(z_i^l),S(z_j^l)\ne R(z_j^l),S(z_i^l))$。因此当接收者和发送者确定时，他们之间的关联性也就确定了。
对于第二个问题，我们对基于上下文的计算生成了另外一个表征，最终，我们有了如下式：

以上，上下文计算能被重写为：

Context aware graph convolution for edge feature based GCNs

大部分GCN都是基于节点的，并且在节点上执行卷积，边表示连接关系。这一部分我们介绍我们的模型如何实现基于边的GCN或者同时基于节点和边。我们重新规定上下文计算如下：

在这里$x$既可以是边也可以是节点，$w_{x,z_k^l}$和$w_{x,e_{ij}^l}$分别是聚合节点和边特征的权值。