论文:https://arxiv.org/abs/1812.03595
代码:https://github.com/mks0601/PoseFix_RELEASE
—————————————————————————————————————————————————
目标:
多人姿态估计:
本篇论文主要工作是利用一个人体姿势优化网络,从输入图像和姿势中对人体姿态进行优化。
大概的效果如下图:
———————————————————————————————————————————————————————
亮点:
之前的方法主要是通过端到端可训练的多阶段结构来进行姿势优化。它们依赖于姿态估计模型。
本文提出了一个 无模型的姿态优化方法。
—————————————————————————————————————————————————————
怎样生成一个 模型不可知的姿态优化网络 (model-agnostic pose refine)呢?
将 姿态错误估计 分为以下几类:抖动(jitter) , 反转(inversion) , 交换(swap) , 缺失(miss)
记录这些错误出现的频率——即:获得了错误统计信息(error statistics)
将这些信息作为先验信息来生成姿态(synthetic poses),
然后用这些姿态来训练提出的姿态优化模型(the proposed pose refinement model (PoseFix))
—————————————————————————————————————————————————————
贡献:
1、我们证明了 模型不可知的姿态细化 是可能的。posefix独立于姿态估计模型进行训练。它是基于经验分析得到的误差统计。
2、posefix可以将任何姿态检测方法的姿态估计结果作为输入。
由于posefix不需要任何代码或其他方法的知识,因此它具有很高的灵活性。
3、posefix是一个从粗到细的估计体系。这种设计对于姿势精细化的估计至关重要。
4、posefix比传统的基于多阶段的优化方法获得了更好的效果。
———————————————————————————————————————————————————————
模型:
posefix的目标是优化输入图像中所有人的人体关键点的二维坐标。
为了解决这个问题,构建一个top-down的系统来处理一个裁剪的人体图像和一个给定的人体姿态估计结果,
而不是处理一个包含多人的完整图像。
在训练阶段,输入姿态是合成的。测试阶段中,任何其他方法的姿态估计结果都可以作为系统的输入姿态。
———————————————————————————————————————————————————————
合成姿态(synthetic poses)
为了训练posefix,我们用groundtruth poses生成合成姿态。posefix在测试阶段应包含来自不同方法的不同姿态估计结果。
我们根据 [24]M. R. Ronchi and P. Perona. Benchmarking and error diagnosis in multi-instance pose estimation. In ICCV, 2017.中描述的真实姿态的误差分布随机生成合成姿态——包括根据关节类型、