[论文阅读]Spatial Residual Layer and Dense Connection Block Enhanced Graph Convolutional Network

最新推荐文章于 2023-10-29 18:16:00 发布

BENULL

最新推荐文章于 2023-10-29 18:16:00 发布

阅读量1k

点赞数

分类专栏：论文阅读文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/qq_32815807/article/details/109058111

版权

论文阅读专栏收录该内容

19 篇文章 1 订阅

订阅专栏

Spatial Residual Layer and Dense Connection Block Enhanced Spatial Temporal Graph Convolutional Network for Skeleton-Based Action Recognition

来源

作者单位	会议	论文地址	代码
江南大学	ICCV 2019	论文地址	暂无

创新点

引入了空间残差层来捕获和融合时空特征
在先前的工作中，时空层包括空间图卷积和时间卷积。但是不同卷积的序列叠加会混合不同域的信息，从而导致识别不准确。通过引入跨域空间残差卷积，可以增强时空信息

此外，提出了一个密集连接块来提取全局信息

它由多个空间残差层组成。在这些层中，可以通过密集连接来传递信息。

结合上面提到的两个组件来创建了一个时空图卷积网络(ST-GCN),称为SDGCN

图1.该方法将2D空间卷积与1D时间卷积集成在一起，用于时空特征表示，用于基于骨骼的动作识别。蓝色方块代表空间图卷积，黄色代表时间卷积。

网络结构

主要工作：空间残差层和密集连接块增强的时空图卷积网络

空间残差层Spatial Residual Layer (SRL)

ResNet 首先通过引入残差结构来提出残差连接的概念，其中输入节点信息通过恒等映射传递。残差映射的想法是删除相同的主要部分，从而突出显示较小的更改。通过引入残差映射，整个结构对输出的变化更加敏感。残差层可以看作是一个放大器，经过合理的设置，敏感信息会被放大，因此残差连接只需要关心它需要学习的内容即可。

图2.空间残差ST-GCN层。下部是ST-GCN层，由空间图卷积和时间卷积组成，上部是空间图卷积。就像在ResNet中一样，残差连接的输入与ST-GCN层相同，然后将从残差连接获得的输出添加到ST-GCN层的输出中，相加的结果是最终的输出。

这里的空间残差连接是跨域的。时空融合网络由空间图卷积分支和时空卷积分支组成。恒等映射是图中的下流。与原始的ResNet不同，此处的恒等映射由图卷积组成，该图卷积也可以视为特殊的双流结构，其中一个流学习静态特征，而另一个流学习时空特征。通过2D空间图卷积，可以提取静态空间特征。由于残差连接，残差图将注意静态空间信息。原始层只需要重视时空信息。这种设计使GCN可以更有效地从视频中学习重要信息。

密集连接块Dense Connection Block (DCB)

它的结构非常简单，由几个密集的连接块组成。在每个块中，每个图层的特征图都与相同尺度的所有先前特征连接在一起。通过引入密集连接，将重用每一层的特征。一方面，使用少量的计算，可以获得更丰富的特征图。另一方面，重用特征更强大，因此减少了不同层之间的依赖性。

图3.每个密集的连接块都包含几个空间残差层。在这里，除了第一层或最后一层，每层输入特征的大小与上一层的输出大小完全相同。

在每个密集连接块中，每一层都已连接到所有后续层。 在通道中将它们全部串联在一起。这样，可以在以后的层中重用先前层所提取的大多数信息。就像DenseNet一样，此块允许整个网络充分利用全局信息。最重要的是，从特征的角度来看，通过特征重用和旁路设置，可以大大减少网络参数的数量，并在一定程度上缓解了梯度消失的问题。另一方面，每一层的输入不仅包括前一层的输出，而且还包括其他先前的层。这也提高了网络的健壮性。

总体结构

在这里，将空间残差层和密集连接块组合在一起，以形成最终的体系结构，称为SDGCN。注意，几个空间残差层构成一个块。引入密集连接来连接每个块中的这些层。整个网络结构由3个密集连接块组成。在每个块中，通道大小的设置可以充分利用密集连接。采用原始ST-GCN的设置，这确保了所提出的方法可以应用于常用的ST-GCN结构。