关闭

Convolutional Pose Machines 阅读小结

标签: 计算机视觉姿态检测
3954人阅读 评论(2) 收藏 举报
分类:

Title: Convolutional Pose Machines

Authors: Shih-En WeiVarun RamakrishnaTakeo KanadeYaser Sheikh

Link: https://arxiv.org/abs/1602.00134

Github: https://github.com/CMU-Perceptual-Computing-Lab/convolutional-pose-machines-release

或者原作者 https://github.com/shihenw/convolutional-pose-machines-release (这个更完善)


What:

1. 对人体的结构进行预测,以预测点的形式输出。

2. 使用多个multi-class CNN构建 coarse2fine的框架(不是regression CNN),所以操作都是基于heatmap。


How:

1.Stage 1 input是原图,经过全卷机网络,输出是一个P+1层的2Dmap

   Stage 2 input是 StageOutput做处理,并且加上 原图通过几层网络后的中层map。输出同上。

   Stage t>2 类似2

(这里相加的话会有一些尺度问题,应该是ψ中操作了,但论文中没有解释ψ。)


2.出现梯度消失的问题:采用中层监督(加入中层loss),加强反向传播。

中层监督的groundtruth来源于对groundtruth中的location point做高斯分布产生。而Loss的形式是简单的每个像素的平方loss。


实验

组建之间可以互相影响(multi task的感觉)


结果


update 9/20:

网络结构可视化分析:(我是用了caffe/python/drawnet.py可视化)

1.这个是作者提供test的结构,所以图上没有loss。但按照paper应该是在

conv7_stage1 和之后的每个conv5上有loss (如 Mconv5_stage2, Mconv5_stage3 )

2.一开始分叉出去3路,

第一路可以对应 x‘ 的那一路。这一路就是常驻的用来concat的。

中间的一路就是x的一路。这一路就是一开始和x‘一样,后期疯狂 conv [11,11] pad 5的尺度不变

下面的一路是原图缩小8倍的一路。这一路也是常驻的用来concat的。

4
0
查看评论

【人体姿态】Convolutional Pose Machines

2016年CVPR深度学习估计人体姿态的Convolutional Pose Machines算法
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016-04-29 18:33
  • 16727

convolutional pose machines, CVPR 2016

convolutional pose machines, CVPR 2016. 论文:http://arxiv.org/abs/1602.00134 project:https://github.com/shihenw/convolutional-pose-machines-release ====...
  • xuanyoumeng
  • xuanyoumeng
  • 2016-07-31 10:21
  • 4284

论文阅读:《Convolutional Pose Machines》CVPR 2016

概述本文使用CNN进行人体姿态估计,它的主要贡献在于使用顺序化的卷积架构来表达空间信息和纹理信息。顺序化的卷积架构表现在网络分为多个阶段,每一个阶段都有监督训练的部分。前面的阶段使用原始图片作为输入,后面阶段使用之前阶段的特征图作为输入,主要是为了融合空间信息,纹理信息和中心约束。另外,对同一个卷积...
  • qq_36165459
  • qq_36165459
  • 2017-10-23 17:25
  • 952

【人体姿态】Stacked Hourglass算法详解

Newell, Alejandro, Kaiyu Yang, and Jia Deng. “Stacked hourglass networks for human pose estimation.” arXiv preprint arXiv:1603.06937 (2016). 概述 本...
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016-05-17 22:55
  • 13010

READING NOTE: Convolutional Pose Machines

TITLE: Convolutional Pose Machines
  • joshua_1988
  • joshua_1988
  • 2016-12-27 16:48
  • 728

论文阅读:Pose Machines: Articulated Pose Estimation via Inference Machines

本文介绍了Convolution Poase Machine所follow的论文Pose Machine,这篇论文声称能够解决关节遮挡问题。此外论文解决的方式也很新颖通过多类分类器的级联实现关节的逐步精确
  • xizero00
  • xizero00
  • 2016-05-12 18:44
  • 2598

Convolutional Pose Machines

本论文将深度学习应用于人体姿态分析,同时用卷积图层表达纹理信息和空间信息。目前在2016年的MPII竞赛中名列前茅。作者在github提供了训练和测试源码。  convolutional pose machines, CVPR 2016. 论文:http://arxiv.org/ab...
  • qq_30096641
  • qq_30096641
  • 2017-08-17 09:36
  • 360

【论文阅读】Convolutional Pose Machine

声明:转载请注明原文链接,阅读内容仅个人见解,如有理解错误,请联系我,欢迎交流。 《Convolutional Pose Machine》 0 摘要 " role="presentation">\qquad姿态机提供了一个连续的预测款框架,可以学习丰...
  • TwT520Ly
  • TwT520Ly
  • 2018-02-01 15:17
  • 46

《Towards Viewpoint Invariant 3D Human Pose Estimation》--深度图领域人体姿态估计的CNN算法

《Towards Viewpoint Invariant 3D Human Pose Estimation》–深度图领域人体姿态估计的CNN算法 这篇文章是ECCV 2016的一篇3D人体姿态估计的文章,一作Albert Haque是Li FeiFei的学生,出自Stanford Universit...
  • zhangboshen
  • zhangboshen
  • 2017-04-26 21:56
  • 2134

CMU开源:多目标人体关键点实时检测

OpenPose是一个利用OpenCV和Caffe并以C++写成的开源库,用来实现多线程的多人关键点实时检测,作者包括Gines Hidalgo,Zhe Cao,Tomas Simon,Shih-En Wei,Hanbyul Joo以及Yaser Sheikh。 即将加入(但是已经实现!)...
  • u010925447
  • u010925447
  • 2017-08-19 13:15
  • 3325
    个人资料
    • 访问:75874次
    • 积分:1139
    • 等级:
    • 排名:千里之外
    • 原创:33篇
    • 转载:0篇
    • 译文:3篇
    • 评论:45条
    文章分类
    关于我