(20) Recurrent Human Pose Estimation

Recurrent Human Pose Estimation

---

2016

reading time : 2019/10/12

paper : http://arxiv.org/pdf/1605.02914v2

---

该模型回归了每个身体关键点的热图表示，并且能够学习和表示部件外观和部件配置的上下文。

内容：

1. 将前馈模块与递归模块相结合的体系结构，其中递归模块可以迭代运行以提高性能
2. 该模型可以端到端、从头到尾进行训练，并加入辅助loss以提高性能
3. 研究关键点的可见性是否也可以被预测

 论文使用递归神经网络增加感受野。从而在训练中减少数量级的参数。多次包含递归模块类似于在houglass中堆积更多的沙漏模块。在模型中，我们使用了一个递归模块，它本质上增加了有效接受域，而没有引入额外的参数。

 

上图概述了ConvNet的体系结构。它由两个模块组成:一个前馈模块，可以运行一次;一个递归模块，可以运行多次。 两个模块输出heatmap，并可训练与辅助loss。然而，架构的关键设计思想是如何在训练和推理中分配上下文。前馈模块主要作为一个独立的“关键点”探测器，回归关键点热图，但由于有效接受域较小，基本上不了解其他部分配置的上下文。相比之下，递归模块每次运行时都会逐步带来更多的上下文，部分原因是有效的接受域随着每次迭代而增加。

A. Feed-forward Module

   1-3层使用小卷积核（3x3），包含非线性激活。体系中包含更多的非线性，有助于提高性能。池化只用到两次，以保持输出热图分辨率足够大。激活函数为每次卷积后的ReLU，预测层(第8层)也是卷积，然后是ReLU，输出预测的热图。

  4-6层使用大卷积核，然后使用1×1的卷积滤波器(第5层和第7层)。跳跃层连接来自第3层和第5层的输出，这构成了融合层(第6层和第7层)的输入。

B. Recurrent Module

我们的目标是结合中间特征表示来学习上下文信息和改进最终的热图预测。递归模块的输入是第三层和第七层合并。在每次迭代中，来自层的输入3是固定的，而层7是更新的(见图)。

C. Body Part Heatmaps as Supplementary Supervision

除了关键点heatmap，此外，我们还提出了由一对关键点构成的人体部位热图（body part heatmaps）。人体部位热图的定义：取两个关键点的中点，作为高斯分布的中心，并且基于两个关键点之间的欧式距离来定义方差。尽管我们的主要目标是预测关键点，但对关键点对进行建模有助于捕获额外的身体约束，并在标签方面主要起到数据扩充的作用。

D.Target Heatmaps and Loss Function

在训练时，ground-truth标签是通过在ground-truth关键点位置放置一个具有固定方差的高斯分布来分别为每个关键点合成的热图。然后，我们使用均方误差(MSE)，这弥补了预测的热图和合成的ground-truth在像素方面的差异。

此外，我们建议在递归模块的每次迭代结束时使用一个辅助的损失函数来增加反向传播时梯度的幅度，而不是只在最后一次迭代。

                                                             

E.Occluded Keypoints

为此,论文调查三种不同的训练场景的网络:一个忽略遮挡关键点和身体部位的损失函数(因为它们是不可见的),二在loss函数中包含被遮挡的关键点和身体部位，增加训练数据量,和三通过考虑遮挡的关键点和身体部位作为背景。