DeepCut及DeeperCut：基于Tensorflow的人体姿态估计

人体姿态估计是机器视觉的一个重要分支，在行为识别、人机交互、游戏、动画等领域有着很广阔的应用前景，是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

本篇主要对http://pose.mpi-inf.mpg.de/#deepcut，即MPII数据集中benchmark比较高的模型进行实验。主要是DeeperCut这篇文章。

从上面网站上的前几行文字可以看出deepcut的基本思路：

Starting from a single monocular image of multiple individuals, a sparse set of body part detection candidates is computed (I). In order to incorporate various types of interactions between body parts within and across human bodies, a densely connected graph is constructed (II). The problem of multi-person pose estimation is then treated as integer linear program (ILP). Solution results into simultaneous partitioning of part detection candidates into person clusters and labeling each detection by one of the part classes (III), thus computing joint pose estimation of multiple people (IV).

其具体思路即：提出人体部件的候选区域，每个候选区域作为一个节点，所有的节点组成一个密集连接图，节点之间的关联性作为图节点之间的权重，将其作为一个优化问题，将属于同一个人的部件（节点）归为一类，每个人作为一个单独类。

其具体的示意图如下：

本文的思路具有以下几个优势： 
1）可以解决未知个数人的图像，通过归类得到有多少个人 
2）通过图论节点的聚类，有效的进行了非极大值抑制 
3）优化问题表示为 Integer Linear Program (ILP)，可以有效求解

不过同样地，因为使用了自适应的Fast R-CNN来进行人体部分的检测，又使用ILP来进行多人的人体姿态估计，导致DeepCut的计算复杂度比较高。

因此才出现另一篇文章的出现：DeeperCut.

DeeperCut improves over DeepCut on three fronts:

• deeper ResNet architectures to enhance body part detectors to generate effective bottom-up proposals for body parts
• novel image-conditioned pairwise terms allow to assemble the proposals into a variable number of consistent body part configurations
• an incremental optimization strategy explores the search space more efficiently thus leading both to better performance and significant speed-upfactors

可知其改进之处为：

（1）采用了Resnet来提高body part的检测，更加的有效，精度更高；

（2）使用了image-conditioned pairwise terms可以将得到足够丰富的候选区域节点压缩到一定数量的节点，而这也是整个论文的核心部分，也是stronger & faster的主要原因。如下图所示，即通过候选区域节点之间的距离来判断是否为不同的重要关节点。

测试结果：

（1）单个人的识别

（2）　多个人的人体姿态估计结果

看着效果还不错，而且运行速度算比较快的。

版权声明：本文为博主原创文章，未经博主允许不得转载。