【ECCV 2016】人体姿态估计论文笔记 Stacked Hourglass Networks for Human Pose Estimation

最新推荐文章于 2023-06-05 10:47:13 发布

「已注销」

最新推荐文章于 2023-06-05 10:47:13 发布

阅读量376

点赞数 1

分类专栏：深度学习文章标签：机器学习深度学习人工智能卷积算法

本文链接：https://blog.csdn.net/weixin_47716911/article/details/107939314

版权

深度学习专栏收录该内容

21 篇文章 1 订阅

订阅专栏

本文介绍了ECCV 2016年提出的Stacked Hourglass Networks，这是一种用于人体姿态估计的深度学习模型。文章详细阐述了网络的中心思想，包括其自下而上、自上而下的处理架构，以及残差模块和中间监督在提高性能中的作用。堆叠式沙漏网络由多个沙漏模块组成，每个模块通过卷积和最大池化处理不同尺度信息，并通过上采样和融合实现特征恢复。此外，网络在每个沙漏模块后添加中间监督，提高学习效率。实验结果显示，该网络在FLIC和MPII数据集上取得了显著的性能提升。

摘要由CSDN通过智能技术生成

文章来源 | 极链AI云（性价比最高的共享算力平台，助力你的技术成长～首次注册可获免费100小时GPU使用时长！官网地址：https://cloud.videojj.com/）

作者 | ygu86【极链AI云技术原创获奖者】

原文地址 | 人体姿态估计论文笔记（官网论坛）已获授权

最近在研究CenterNet，发现其使用的backbone network除了传统熟悉的ResNet以外，还用到了一种叫Hourglass Network的结构，且效果优于ResNet。

经调查发现Hourglass最早于2016年提出，且在ECCV 2016发表用于人体姿态估计任务，故本文先对此网络结构做大致介绍。

中心思想

本论文提出了一种新的卷积网络结构，称为堆叠式沙漏网络，用于人体姿态估计。该网络在各个尺度提取特征，以重复的自下而上（bottom-up）、自上而下（top-down）处理架构并结合残差模块（residual module）以及中间监督（intermediate supervision）的方法对网络性能起到了显著提升。

网络结构

堆叠式沙漏网络（stacked hourglass network）顾名思义由多个沙漏模块（hourglass module）组合而成，其总体结构如上图Fig. 1所示：

◆ 图片输入尺寸为256x256，先经过一个步长为2的7x7卷积层，再经过一个残差模块（residual module，如下图Fig. 4所示）和一个最大池化层（max pooling）将分辨率从256降至64，随后再接入两个残差模块后进入沙漏模块环节；

◆ 每个沙漏模块都是对称的，具体细节如下图Fig. 3所示稍后再详细介绍，整个网络由多个沙漏模块组成，本论文选用8个模块。

◆ 当达到输出分辨率时，再接入两个1x1的卷积层用于检测。网络最终的输出是一组heatmaps用于预测每个关键点在每个像素点存在的概率，heatmap数量为期望预测的关键点个数；

◆ 损失函数采用Mean Squared Error（MSE）来比较预测的heatmap与ground-truth的heatmap（在关键点中心周围使用标准差为1的2D高斯分布）。

沙漏模块结构如上图Fig. 3所示，其目地为了更好的捕捉多个尺度的信息，具体细节如下：

◆ 每个沙漏模块都是对称的，bottom-up过程通过卷积及最大池化操作将特征图从高分辨率降至低分辨率；

◆ 在每次最大池化操作时，网络会生成一个新的分支并对池化前的特征图进行更多的卷积操作；

◆ 当特征图达到最低分辨率（4x4）时，网络开始以最邻近差值（nearest neighbor upsampling）方式进行top-down过程对特征图上采样并于先前额外分支进行过额外卷积操作的对应特征图以点加方式融合。

除了上述的大致架构外，本论文还有两个细节，如下：

◆ 上图Fig. 3中的每一个框都代表一组残差模块，具体细节由下图Fig. 4. Left所示：每个模块包含三次卷积操作，分别为1x1，3x3，1x1。所有的卷积核不改变尺寸，只改变通道数，头两次卷积操作将特征图通道数减半至128，最后一次卷积操作还原至256用于残差操作；

◆ 除了上述的残差模块外，每个沙漏模块后都接了一个中间监督模块对当前特征图进行预测，具体细节由下图Fig. 4. Right所示：当每次沙漏模块结束后，网络对得到的特征图先进行一次1x1的卷积操作（通道数为256），随后网络分为两个分支，上下半分支各进行一次1x1的卷积操作，上半分支的通道数为256，下半分支的通道数为预测的关键点个数用于生成中间的heatmap以计算损失（图中蓝色框部分）。最后，生成的中间heatmap会再经过一次通道数为256的1x1卷积并于上半分支的特征图以点加方式融合用于下一个沙漏模块的输入。

◆ 最后值得一提的是，所有的沙漏模块都不共享参数且所有中间监督生成的loss都与网络最终输出的loss相加用于反向传播。

实验结果

本论文基于FLIC与MPII Human Pose数据集进行训练与测试，其中FLIC包含5003张图片（训练集3987，测试集1016），MPII数量大约40K（28K作为训练集，11K作为验证集），评测指标采用标准的Percentage of Correct Keypoints（PCK）指标，实验结果如下。