【human estimation】人体姿态检测的关键问题

今天给老师汇报了一下OpenPose的论文和人体姿态检测的学习进展。自以为把论文已经看的挺熟的了，代码也跑起来了，但是还是被老师问的哑口无言，记录一下，作为我之后学习human estimation的方向。

1、首先对于最简单的只有单人的图片的姿态检测，如何实现。

    最简单的就是用up-down，先用一个human detector检测出人，然后再检测part的heatmap。那么heatmap怎么生成呢？我的直觉就是用cnn啊，直接能生成。但是cnn出来其实不过是feature map，不能直接生成热力图。这里需要UNET和FCN（之前有自己看过fcn，但是看完只记得了把全连接层换成1*1的卷积。老师要我具体讲怎么实现的，说不上来。之后还要认真学习一下fcn）。

    如果使用bottom-down方法，有什么坏处？ 显然如果用bottom-up，检测的范围变大了，会产生更多冗余的part，对后面连接肯定会带来影响，而且运行速度会慢。

2、对于多人的姿态检测。

    up-down 的方法有什么坏处？ up-down太依赖human detector 如果检测错误，后果无法改正。而且对于多人的情况下，human detector的效果也会显著下降。

    那对于bottom-down，生成了一系列heatmap以后，如何把关节一一对应起来。这应该就是所有的多人姿态检测都要解决的问题。再openpose里面是引进了paf来增加肢体的信息。

    另一片今年cvpr的论文crowed pose，用的是up-down，论文里效果要比openpose好很多，但是理论上感觉也没什么创新，对于如何把关节一一对应起来，并没有一个很好的回答，也许是我没有看仔细，还需要在钻研一下。

    总之，生成关节图后如何把关节与人对应起来，是人体姿态检测最大的问题。