Human Pose Estimation | Convolutional Pose Machines (2016)

最新推荐文章于 2024-07-10 22:17:05 发布

MeltAmaryllis

最新推荐文章于 2024-07-10 22:17:05 发布

阅读量98

点赞数

分类专栏： HumanPoseEstimation 文章标签：深度学习卷积神经网络

本文链接：https://blog.csdn.net/MeltAmaryllis/article/details/132068215

版权

HumanPoseEstimation 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Convolutional Pose Machines ｜最早将深度学习应用于人体姿态估计的研究之一

Convolutional Pose Machines - [CODE] - Wei, S., Ramakrishna, V., Kanade, T., & Sheikh, Y. (CVPR 2016).

该文是最早将深度学习应用于最早将深度学习应用于人体姿态估计的研究之一。主要网络结构分为多个stage，各个阶段都使用了中间监督训练，避免过深网络难以优化的问题。通过改变卷积核大小来得到更大的感受域，得到多个尺度输入的特征和响应，既能确保精度，又考虑了各个部件之间的远距离关系。其中第一个stage会产生初步的关键点的检测效果，接下来的几个stage均以前一个stage的预测输出和从原图提取的特征作为输入，进一步提高关键点的检测效果。

Abstract

定义：

姿势机（Pose Machines, PMs）： PMs提供了一个用于学习丰富的隐式空间模型的顺序预测框架。
卷积姿势机（Convolutional Pose Machines，CPMs）： CPMs集成了PMs架构的优点并将其与卷积提供的优势相结合。PMs架构优点：图像和多部分线索之间的远程依赖关系的隐式学习、学习和推理之间的紧密集成、模块化顺序设计；卷积架构优点：直接从数据学习图像和空间上下文特征表示的能力；允许通过反向传播进行全局联合训练的可微架构；以及有效处理大型训练数据集的能力。

问题： 如何将CNN合并到PMs中，以学习图像特征（Image features）和图像相关的空间模型（Image-dependent spatial models）来完成姿势估计任务？

贡献： 对结构化预测任务（例如关节姿态估计）中变量之间的远程依赖关系进行隐式建模。

实现： 设计一个由CNN组成的顺序架构，该架构直接对先前阶段的 置信图（Belief map） 进行操作，对零件位置产生越来越精细的估计，而不需要显式的图形模型式推理。

PROs： 该方法通过提供强制中间监督的自然学习目标函数来解决训练期间梯度消失的特有困难，从而补充反向传播梯度并调节学习过程。

Benchmarks： MPII、LSP 、FLIC

Introduction

Fig 1
CPMs由一系列预测器组成，经过训练可以在每个图像位置进行密集预测（dense predictions）。如图所示，为序列的每个Stage中对运动员右肘位置的逐渐精细的估计。

a） Stage 1：可以看到运动员的左右手肘均被估计，且左手肘比右手肘的标记更明显。这是由于从local evidence进行的预测往往会造成混淆。
b） Stage 2：此处右手肘的标记明显于左手肘的。通过上下文有助解决歧义。
c） Stage 3：此处只有右手肘被估计。通过额外的迭代收敛于该解决方案。

Methodology

Convolutional Pose Machines（CPMs）

在这里插入图片描述
CPMs架构与接受域。 如图所示，为任意Stage的CPMs卷积架构和跨层接受域。PMs 如 Fig（a）和 Fig（b）所示。

Fig（a）&（c）：Stage 1 仅对图像证据进行操作的架构；
Fig（b）&（d）：后续 Stage 的架构，对图像证据及前一阶段的 belief map 进行操作。该架构对所有后续阶段重复。在每个阶段之后，网络会使用中间损失层进行本地监督，以防止训练期间梯度消失。
Fig（e）：展示了架构图像（以左膝为中心）上的有效接受域。其中，较大的接受域能够捕获远程空间依赖性。（e.g.，头部和膝盖之间的空间依赖性，颜色效果最明显）。