Stacked Hourglass Networks for Human Pose Estimation

原创 2018年04月17日 00:45:08

论文地址:https://arxiv.org/abs/1603.06937

代码:http://www-personal.umich.edu/~alnewell/pose/

(关于这篇论文,作者发布了v1和v2的两种版本,其中内容稍有不同,笔者重点看了v2版本,同时也参照了v1版本,但仍有部分细节不甚清楚,并且在研读过程中,感觉似乎v1和v2版本在某些细节上的介绍相互冲突。如有机会,研读代码后再继续完善本篇博客。以下内容主要参照v2版本论文)

CVPR2016年的一篇单人姿态估计论文,其精度在CPM(Convolutional Pose Machines)之上,采用串行网络结构,主要由Residual Module和Hourglass两个子模块融合组成,网络结构高度对称,整体网络结构如下:

上图中每一个沙漏模型代表一个Hourglass子网络,整体网络由多个Hourglass子网络串联而成,输入先经过一个7*7的stride为2的convolutional layer,然后经由一个Residual Module和max pooling,再送入Hourglass子网络。

对于每个Hourglass子网络,主要由Residual Module和max pooling组成。如下图:


每个box代表一个Residual Module。Residual Module结构如下左图:


如上右图,每个Hourglass的输出,通过两个1*1的convolutional layer转换维度,其中,第一个1*1的convolutional layer转换维度后使得输出的heatmaps的channels与intermediate features的channels相匹配,然后计算一个loss。最后,两者和Hourglass的输入加到一起作为下一个Hourglass的输入。

整体的网络思想就是downsample、upsample和stack,同时引入intermediate supervision,这点和CPM的思想是一样的。

最后再介绍一下单个Hourglass的组成,虽然Figure 3中已经给出,但具体细节光看图可能无法理解。根据作者论文的细节,结合Figure 3,笔者大致画出了如下一阶Hourglass网络结构(不包含loss):


其中,将红色框用整体替换,则可以得到二阶、三阶等等Hourglass网络。



个人笔记,水平有限,希望指正。

Stacked Hourglass Networks for human pose estimation

摘要 这篇文章提出了一个新颖的ConvNet架构,应用于人体姿态估计。作者认为重复使用 bottom-up,top-down能够提升网络性能。作者将这个网络命名为“stacked hourglass...
  • u013068978
  • u013068978
  • 2016-06-18 23:55:57
  • 3209

Stacked Hourglass Network for Human Pose Estimation

Stacked Hourglass Network for Human Pose 在Stacked Hourglass Network被提出之后,我们可以看到有很多论文如雨后春笋般冒出来。可谓...
  • mpsk07
  • mpsk07
  • 2018-03-14 10:30:23
  • 146

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016

概述本文仍然是使用全卷积神经网络,对给定的单张RGB图像,输出人体关键点的精确像素位置,使用多尺度特征,捕捉人体各关节点的空间位置信息。网络结构形似沙漏状,重复使用top-down到bottom-up...
  • qq_36165459
  • qq_36165459
  • 2017-10-23 18:07:03
  • 1572

阅读小结:Stacked Hourglass Networks for Human Pose Estimation

arXiv: https://arxiv.org/pdf/1603.06937v2.pdf github: https://github.com/anewell/pose-hg-train W...
  • Layumi1993
  • Layumi1993
  • 2016-09-07 14:34:53
  • 4769

论文阅读理解 - Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimation keywords 人体姿态估计 Human Pose Estimation 给定单张...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-05-25 17:48:02
  • 5357

论文实践学习 - Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimation - Demo Code Stacked Hourglass Networks for Hum...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-05-26 09:48:36
  • 3381

论文实践学习 - Multi-Context Attention for Human Pose Estimation

类似于 论文实践学习 - Stacked Hourglass Networks for Human Pose Estimation ,基于Docker-Torch,估计人体关节点. 这里只简单进行...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-09-09 11:21:31
  • 1447

【人体姿态】Stacked Hourglass算法详解

Newell, Alejandro, Kaiyu Yang, and Jia Deng. “Stacked hourglass networks for human pose estimation.”...
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016-05-17 22:55:47
  • 16986

姿态检测整理--01-Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimation(发表于2016年)基本上是目前姿态研究的基础网络,具有bottom-up和top-down二者...
  • daniaokuye
  • daniaokuye
  • 2017-11-27 15:14:11
  • 506

Stacked Hourglass Networks

http://www-personal.umich.edu/~alnewell/pose/
  • yeahDeDiQiZhang
  • yeahDeDiQiZhang
  • 2017-11-19 23:04:37
  • 733
收藏助手
不良信息举报
您举报文章:Stacked Hourglass Networks for Human Pose Estimation
举报原因:
原因补充:

(最多只允许输入30个字)