关节的热力图(Heatmap)
每一个关节点,生成一张热力图heatmap, 热力图的响应值作为关节位置的概率或似然. 热力图中数值越大的位置,响应值越大,表示越有可能是关节的位置.
那么构造heatmap实际上是构造了一个中间状态,这个heatmap有如下的一些优点:
**1-**可以让网络全卷积,因为输出就是2维图像,不需要全连接。
**2-**关节点之间(头和胸口,脖子和左右肩膀)是有很强的相关关系的。然而单独的对每一类关节点回归坐标值并不能捕捉利用这些相关关系,相反当回归heatmap时,一张输入图像对应的heatmap就存在这种相关关系,那就可以用来指导网络进行学习。简言之,头关节的回归可以帮助胸口关节,脖子关节的回归也可以帮助左右肩膀,反之亦然。
**3-**heatmap同样捕捉了前景(关节点)与背景的对比关系,同样可以用来指导网络进行学习。这样,通过这条途径获得一个比较好的predictedHeatmap(易于学习,效果很好),再通过其他方法获得最终的关节点位置坐标,就是目前single person pose estimation的基本pipeline。