PoseFix: Model-agnostic General Human Pose Refinement Network

arxiv上新放出的一篇pose refine的文章. 类似于top-down的方法,只针对单个人的pose refine操作. 多人的pose refine可以通过分别对单人的pose refine操作完成.

文章的意思很明确,就是对目前所有pose模型的输出做refine. 根据另外一篇文章的说法,目前基本上所有的pose estimation模型的得到的pose都是存在特定的误差分布的. 这个误差分布是根据经验分析得到的,具体的可以看这篇文章详细研究.

总之,因为根据经验分析出pose estimation的模型的pose输出存在特定的误差分布,根据这些误差分布,就可以和ground truth做合成pose(synthetic poses), 将这个synthetic pose作为网络的输入,最后的输出和ground truth做loss计算,网络收敛之后,就有将其它pose estimation网络的pose 输出做refine的能力.

synthetic pose

根据文章的说法, 一个pose模型输出的pose其属性可以分为good, jitter, inversion, swap, miss五种属性,不同的关节点的pose这五种属性概率值都不一样,synthetic pose会根据其误差分布来合成.具体合成方式详见pose fix这篇文章.

loss</