Hourglass

Hourglass

3 Network Architecture

3.1 Hourglass Design

最后姿态的估计需要对整个身体有一个连贯的理解。人的方向、四肢的排列和相邻关节的关节是图像中最能在不同尺度上识别的许多线索之一。hourglass是一个简单的设计，它能捕获所有这些特性并将它们结合在一起输出像素级的预测。

网络必须有某种机制来有效的处理和整合不同规模的特征。有些方法通过使用单独的pipline来解决这一问题，这些pipline以多种分辨率独立处理图像。相反，我们选择使用具有跳过层的单个管道来保留每个分辨率的空间信息。该网络在4x4像素处达到最低分辨率，允许应用较小的空间filter来比较整个图像空间的feature。

hourglass 设置如下： 用卷积和最大池层处理特征，直到非常低的分辨率。在每个maxpooling步骤， the network branches off and applies more convolutions at the original pre-pooled resolution。在达到最低分辨率后，网络开始从上到下的上采样序列和跨尺度特征组合，为了汇聚两个相邻resolution的信息，我们遵循汤普森等人所描述的过程。并对分辨率较低的最近邻进行上采样，然后对这两组特征进行元素加法。hourglass的拓扑是对称的，所以在下边的每一层上都有一个对应的层。

在达到网络的输出分辨率后，使用两轮连续的1x1卷积产生最终的网络预测。网络的输出是一组heatmap，对于给定的heatmap，网络预测节点在每个像素上存在的概率。图3

3.2 Layer Implementation

最近的工作显示了使用1x1卷积的缩减步骤的价值，以及使用连续的更小的filters来捕获更大的空间的上下文的好处。For example, one can replace
a 5x5 filter with two separate 3x3 filters.

我们的最终设计利用了residual modules，不适用大于3x3的filters，bottleneck限制了每一层的参数总数，从而减少了内存的总使用量。

256x256的完全输入分辨率需要大量的GPU内存，因此hourglass的最高分辨率是64x64，整个网络从7x7卷积层开始，步长为2，然后是一个residual module和一个maxpool，将分辨率从256降到64，在hourglass之前有两个residual module，在整个hourglass中，所有的residual module都输出256个feature map。

3.3 Stacked Hourglass with Intermediate Supervision

我们将多个hourglass端到端的堆叠，将前一个hourglass的输出作为下一个hourglass的输入，这为网络提供了一种自上而下inference的机制，允许对整个图像的初始估计和特征进行重新评估，这种方法的关键是我们可以应用损失的中间heatmap的预测。

网络有机会在local和global 环境中处理特征的每个hourglass，之后才生成预测，随后的hourglass module允许再次处理这些高级特性，以进一步评估和重新评估更高层次的空间关系，这些方法在多个迭代阶段和中间监督下表现出了很强的性能。

在每个hourglass中集成了local和global的线索，并且要求网络产生早期的预测，自上而下处理的后续阶段允许对这些特征进行更深入的重新考虑。

对于像姿态估计这样的结构化问题，输出是许多不同特征的相互作用，它们应该结合在一起，形成对场景的一致理解。

我们将中间预测重新整合到特征空间，将它们映射到更多的通道上，再加上1x1卷积。这些特性被添加回沙漏的中间特性，以及上一个hourglass阶段输出的特性。在最后的网络设计中，使用了8个hourglass。要注意的是，权重不是在hourglass中共享的，并且loss适用于所有hourglass的预测，使用相同的ground truth。

参考：https://blog.csdn.net/u013841196/article/details/81048237

https://blog.csdn.net/shenxiaolu1984/article/details/51428392