Convolutional Pose Machines 阅读小结

原创 2016年07月07日 22:20:40

Title: Convolutional Pose Machines

Authors: Shih-En WeiVarun RamakrishnaTakeo KanadeYaser Sheikh

Link: https://arxiv.org/abs/1602.00134

Github: https://github.com/CMU-Perceptual-Computing-Lab/convolutional-pose-machines-release


What:

1. 对人体的结构进行预测,以预测点的形式输出。

2. 使用多个multi-class CNN构建 coarse2fine的框架(不是regression CNN),所以操作都是基于heatmap。


How:

1.Stage 1 input是原图,经过全卷机网络,输出是一个P+1层的2Dmap

   Stage 2 input是 StageOutput做处理,并且加上 原图通过几层网络后的中层map。输出同上。

   Stage t>2 类似2

(这里相加的话会有一些尺度问题,应该是ψ中操作了,但论文中没有解释ψ。)


2.出现梯度消失的问题:采用中层监督(加入中层loss),加强反向传播。

中层监督的groundtruth来源于对groundtruth中的location point做高斯分布产生。而Loss的形式是简单的每个像素的平方loss。


实验

组建之间可以互相影响(multi task的感觉)


结果


update 9/20:

网络结构可视化分析:(我是用了caffe/python/drawnet.py可视化)

1.这个是作者提供test的结构,所以图上没有loss。但按照paper应该是在

conv7_stage1 和之后的每个conv5上有loss (如 Mconv5_stage2, Mconv5_stage3 )

2.一开始分叉出去3路,

第一路可以对应 x‘ 的那一路。这一路就是常驻的用来concat的。

中间的一路就是x的一路。这一路就是一开始和x‘一样,后期疯狂 conv [11,11] pad 5的尺度不变

下面的一路是原图缩小8倍的一路。这一路也是常驻的用来concat的。

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

【人体姿态】Convolutional Pose Machines

2016年CVPR深度学习估计人体姿态的Convolutional Pose Machines算法

【人体姿态】Stacked Hourglass算法详解

本文使用全卷积网络解决人体姿态分析问题,截至2016年8月,在MPII姿态分析竞赛中暂列榜首。

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

READING NOTE: Convolutional Pose Machines

TITLE: Convolutional Pose Machines

论文阅读:Pose Machines: Articulated Pose Estimation via Inference Machines

本文介绍了Convolution Poase Machine所follow的论文Pose Machine,这篇论文声称能够解决关节遮挡问题。此外论文解决的方式也很新颖通过多类分类器的级联实现关节的逐步...

【OpenPose-Windows】OpenPose+VS2015+Windows+CUDA8+cuDNN5.1 官方配置教程

版权声明:欢迎大家一起交流,有错误谢谢指正。【我的电脑配置】操作系统:Windows 10 CUDA版本:cuda_8.0.61_win10 cuDNN版本:cudnn-8.0-windows10...

【图像分割】Fully Convolutional Networks for Semantic Segmentation

全卷积网络用于图像语义分割,2015 CVPR Oral,算法详解。

convolutional pose machines, CVPR 2016

convolutional pose machines, CVPR 2016. 论文:http://arxiv.org/abs/1602.00134 project:https://github.co...

论文阅读:Poselet-Based Contextual Rescoring for Human Pose Estimation

本文介绍了基于Poselets的关节提取方法,该方法将Pictorial Structure方法和Poselets的方法进行融合,从而更好地提取关节的位置。

手势识别论文解读

Learning to Estimate 3D Hand Pose from Single RGB Images20173 主要流程 代码细节解读 训练流程解读 Two-Stream Convolut...

行人姿态估计--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields CVPR 2017 Code: https://github...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)