人体姿态估计——PBN

论文：《Does Learning Specific Features for Related Parts Help Human Pose Estimation?》

• CVPR2019, Wei Tang and Ying Wu

1.主要思想：

论点： 人体姿态估计（HPE）本质上是一个同质的多任务学习问题，每个身体部位的定位都是一个不同的任务。
目前HPE方法普遍采用的是利用CNN来学习所有身体部位的完全共享特征，从中以空间坐标或热图的形式对关节点位置进行线性回归。

作者通过分析表明并不是所有的关节部分都是相互关联的，不相关的任务不再共享高维特征表示，希望避免负迁移所带来的不利影响。

2.Related body parts

相关身体部位
（1）识别相关部位最直接的方法是利用人体结构
(1)head top, upper neck and thorax, (2) left wrist, left elbow and left shoulder, (3) right wrist, right elbow and right shoulder, (4) left knee and left ankle, (5) right knee and right ankle, (6) left hip, right hip and pelvis.
（2）利用关节点间的互信息计算获取（本文采用）
统计结果：

（a)不同joint之间的相关性！图(b)关节点的分组。

3.Part-based branching network (PBN)

基于特点关节点的分支网络设计

其中，灰色和蓝色矩形分别表示输入图像和预测的热图。黄色和绿色矩形分别表示共享和特定的特征。通道号包含在每个彩色矩形中。利用MSE损失将预测的热图与真实热图进行损失计算。

作者又设计了mutli stage的版本，作为一种refine机制。

4.实验结果

5.结论

通过大量的基准实验和消融研究，作者得出结论：学习相关身体部位的特定特征可以显著提高被遮挡部位的定位能力，从而有利于人体姿态估计。