论文阅读：Poselet-Based Contextual Rescoring for Human Pose Estimation

作者： Antonio Hernández-Vela1,3 · Stan Sclaroff2 · Sergio Escalera1,3

本文follow cvpr2013的文章， Pishchulin, L., Andriluka, M., Gehler, P., & Schiele, B. (2013a). Poselet  conditioned pictorial structures. In: IEEE conference on computer  vision and pattern recognition (CVPR) (pp. 588–595).

一、论文所解决的问题

创新点：

本文改进了 Poselet  conditioned pictorial structures 的方法采用kmeans的缺点，使用一个SetBoost去计算score从而避免kmeans算法调参的缺陷。

本文提出了自己的中层特征表示方法即poselet selection算法

二、本文所follow的Poselet conditioned pictorial structures 的方法的概览

（1）所follow的论文 Poselet  conditioned pictorial structures 的算法流程

整个算法流程是这样的：

传统的Pictoral Structure所定义的能量函数：

其中的unary和pairwise是

所follow的 Poselet  conditioned pictorial structures这篇论文所提到的unary和pairwist是这样的

Poselet Dependent Unary Terms

Poselet Dependent Pairwise Terms

上面两个E^u和E^p都是基于poselet的，这也印证了 Poselet  conditioned这个标题。

来自： http://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/research/people-detection-pose-estimation-and-tracking/poselet-conditioned-pictorial-structures/

三、论文的解决方案

（1）整体架构一览

上图中，首先用yangyi的Pictorial Structure方法（代码和论文 http://www.ics.uci.edu/~yyang8/research/pose/）提取基本的关节部件，然后使用poselet提取中层部件，然后获得中层特征表示(这边作者自己提出了Poselet selection算法)，然后用setboost获得contextual rescoring

（2）本文的算法流程 

作者所提出来的中层部件的表示方法：

四、论文中的方案解决该问题，解决到了什么程度？

这个还真得看数据集，我看过本文的数据集，感觉都是单人的，并且遮挡较少。

五、其他未能考虑的问题

本文实际并没有考虑以下几个问题

（1）多人存在的情况

如果存在多个人，本文的方法能够适用吗

（2）关节遮挡的情况

如果关节遮挡，本文能够处理吗？

六、有什么收获

（1）收获就是不能一上来就搞个很难的数据集

（2）还有就是深度学习的方法不一定要用，这篇论文着重解决的是一个很小的点，就是cvpr2013中的速度快了点，效果相比原文也并不是很好

（3）本文还是有不少不懂的东西的，比如structure SVM用于带有隐藏变量的预测 

Learning Structural SVMs with Latent Variables ICML2009

代码： http://www.cs.cornell.edu/~cnyu/latentssvm/

（4）关于PS模型、Poselets模型的优缺点

PS模型对于非连接的关节之间的关系建模并不好

Poselets对于整体把握较好，但是不准确。

七、实验

（1）数据集

BUFFY以及LSP，一个是电视剧里面的数据集，一个是运动的数据集，电影那个其实难度还是挺难的，运动那个我看基本上都是单人的。

（2）代码

实际上本文就是将BMVC2014的文章重新发到IJCV上，这里是BMVC2014那篇文章的代码以及论文

http://www.cvc.uab.es/~ahernandez/contextual.html

所follow的论文的代码为

http://www.mpi-inf.mpg.de/departments/computer-vision-and-multimodal-computing/research/people-detection-pose-estimation-and-tracking/poselet-conditioned-pictorial-structures/

八、较好的论文

专门介绍PS模型的

Pictorial Structures for Object Recognition IJCV2005