Stacked Hourglass Networks for Human Pose Estimation

介绍

这是一篇2016年做单人姿态估计的文章

实验用的是MPII sigle 和 FLIC ，指标PCKh

通过堆叠沙漏结构的网络进行人体姿态估计

沙漏结构指通过pooling得到低分辨率的特征，然后通过上采样得到高分辨率特征的网络结构

论文指出该网络可以捕获并控制图像所有尺度上的信息。

另一方面，沙漏网络区别于先前的设计，主要在其更对称的拓扑结构。

通过连续堆放这样的沙漏网络，可以实现重复的bottom-up，top-down的推理

论文所提结构成功的原因有两点：

1. 上述的重复双向推理
2. 训练过程中使用了中间监督

这个单沙漏网络的特点在于在推导heatmap时，既使用到高层的语义，也结合了底层的纹理信息，这样使得定位更加准确

然后通过多个沙漏网络堆叠方式，让后面的网络学习前面网络学习不到的东西，即更难的骨骼关键点检测，finetune再finetune,取得更好的结果下面左边的图展示了，第二层hourglass输出和最后一层（第八层）的结果对比，从例子看明显第八层的finetune后结果比第二层要好不少

上面右边的图是为了说明性能提升究竟是加深网络导致的，还是本文所提的堆叠多个finetune沙漏结构所取得的

中间的图是PCKh结果，上面的点是各网络各子沙漏的结果，同意网络，越往后的层效果越好，网络深度相同的情况下，分越多的子沙漏会比分的少网络，最终输出的结果会高那么一点点

感觉这里缺了一个单层的结果，即没有finetune时的效果，当然也可以把总网络的一半当作是单层效果，分别看分两层和4层的效果如何（0.846，0.865，0.871）