关闭

阅读小结:Stacked Hourglass Networks for Human Pose Estimation

标签: 神经网络深度学习行人识别姿态检测沙漏网络
3908人阅读 评论(2) 收藏 举报
分类:

arXiv: https://arxiv.org/pdf/1603.06937v2.pdf

github: https://github.com/anewell/pose-hg-train



What:

人体关键点预测,输入人体图像输出几个关键点。

使用了反复迭代bottom down/  top down 这个策略在人脸landmark 甚至更早像ASM就有,反复迭代来更精确。

但在CNN上具体是怎么操作的呢?(文题中的hourglass沙漏就是指结构像沙漏一样吧)


How:

1. 基本块

他们使用residual 作为基本网络结构


1*1 的卷积降维256->128 ,3*3 的卷积,1*1的卷积升维128->256


2. 单个沙漏网络的拓扑结构是对称的,结构类似fully convolutional network for semantic segmentation,(语义分割的那篇CVPR paper)

最终一共使用了8个沙漏网络。每个沙漏网络的输入都为 64*64.  (输入图片大小为256*256,一开始经过一次7*7 stride2 的conv 和一次 maxpooling  变成64)



3.如上图,在每次pooling之后都会有1个basic building block 加到之后 upsampling中相同大小的map中。

(这里可以看出每个pooling前的feature map都是256 channel的,up sampling的时候也是256 channel的)


4. 使用了中层监督,对前几个沙漏网络也有loss,这和训练深层res net/inception net一样。而loss的方法如下图


蓝色是prediction(这里有map的 regression Loss),有一路直传,一路从上一个沙漏网络来,三路加到一起传到下一个沙漏



1
0
查看评论

【人体姿态】Stacked Hourglass算法详解

Newell, Alejandro, Kaiyu Yang, and Jia Deng. “Stacked hourglass networks for human pose estimation.” arXiv preprint arXiv:1603.06937 (2016). 概述 本...
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016-05-17 22:55
  • 13122

Stacked Hourglass Networks for human pose estimation

摘要 这篇文章提出了一个新颖的ConvNet架构,应用于人体姿态估计。作者认为重复使用 bottom-up,top-down能够提升网络性能。作者将这个网络命名为“stacked hourglass”(我试着翻译为:栈式沙漏网络)。在FLIC和MPII数据集上,本文取得了超越当前所有方法的性能。概...
  • u013068978
  • u013068978
  • 2016-06-18 23:55
  • 2798

论文实践学习 - Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimation - Demo CodeStacked Hourglass Networks for Human Pose Estimation - Project - Demo Code – pose-hg...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-05-26 09:48
  • 2752

DeepPose: Human Pose Estimation via Deep Neural Networks(精读)

一.文献名字和作者 DeepPose: Human Pose Estimation via Deep Neural Networks, CVPR2014     二.阅读时间 2014-08-29 三.文献的目的     文...
  • shengno1
  • shengno1
  • 2014-08-29 14:53
  • 4717

论文实践学习 - Multi-Context Attention for Human Pose Estimation

类似于 论文实践学习 - Stacked Hourglass Networks for Human Pose Estimation ,基于Docker-Torch,估计人体关节点. 这里只简单进行测试估计结果,由于显存有限,未能加入所有的 scale_search. [Torch-Code] [Pr...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-09-09 11:21
  • 1116

人体姿态估计综述(Human Pose Estimation Overview)

Part1:Single Person Pose Estimation2015 年之前的方法都是回归出精确的关节点坐标( x,y ),采用这种方法不好的原因是人体运动灵活,模型可扩展性较差。 《Flowing ConvNets for Human Pose Estimation in Videos》...
  • qq_36165459
  • qq_36165459
  • 2017-10-23 16:50
  • 5164

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016

概述本文仍然是使用全卷积神经网络,对给定的单张RGB图像,输出人体关键点的精确像素位置,使用多尺度特征,捕捉人体各关节点的空间位置信息。网络结构形似沙漏状,重复使用top-down到bottom-up来推断人体的关节点位置。每一个top-down到bottom-up的结构都是一个stacked ho...
  • qq_36165459
  • qq_36165459
  • 2017-10-23 18:07
  • 751

论文阅读理解 - Multi-Context Attention for Human Pose Estimation

Multi-Context Attention for Human Pose Estimation[Paper][Torch-Code][valse2017/ppt] 整合多内容信息注意力机制(multi-context attention mechanism)到CNN网络,得到人体姿态估计 end...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-09-08 17:25
  • 1478

论文阅读理解 - Stacked Hourglass Networks for Human Pose Estimation

Stacked Hourglass Networks for Human Pose Estimationkeywords 人体姿态估计 Human Pose Estimation 给定单张RGB图像,输出人体某些关键点的精确像素位置. 全卷积网络 Stacked Hourglass Network...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-05-25 17:48
  • 3691

17年 | 重开blog | 关于对称网络的的一点想(kun)法(huo)

距离上篇blog已经一年又近半载了。这之间,遇见科研,遇见跑步,遇见她,遇见别样的自己。重开blog,重拾初心,一切都是刚刚好,重头再来也没什么不可以。
  • dp_BUPT
  • dp_BUPT
  • 2017-08-03 13:06
  • 502
    个人资料
    • 访问:76988次
    • 积分:1155
    • 等级:
    • 排名:千里之外
    • 原创:33篇
    • 转载:0篇
    • 译文:3篇
    • 评论:45条
    文章分类
    关于我