论文阅读Distribution-Aware Coordinate Representation for Human Pose Estimation

论文阅读Distribution-Aware Coordinate Representation for Human Pose Estimation

这篇论文是电子科技大学和萨里大学提出的， CVPR2020收录。

Abstract

热图作为人体姿态估计的标准坐标表示，在文献中从未系统地进行过研究知识。这个这项工作填补了这一空白，研究了坐标表示，特别关注热图。有趣的是，我们发现将预测的热图分解为原始图像空间中的最终关节坐标的过程对于人体姿态估计性能具有令人惊讶的意义，尽管这一点尚未被认识到。根据发现的重要性，进一步探讨了现有方法广泛采用的标准坐标解编方法的设计局限性，提出了一种更具原则性的分布感知译码方法。同时，通过生成无偏模型训练的精确热图分布，改进了标准坐标编码过程（即将地面真坐标转换为热图）。将二者结合起来，提出了一种基于方差分布的关键点（暗）坐标表示方法。作为一个与模型无关的插件，DARK显著提高了最先进的人体姿势估计模型的性能。实验结果表明，在MPII和COCO两个常用的基准上，DARK的计算结果最好，验证了我们提出的新的坐标表示方法的有效性和实用性。项目页位于：https://github.com/ilovepose/DarkPose

Introduction

人体姿态估计是计算机视觉中的一个基本问题，其目的是检测无约束图像中人体关节的空间位置（即坐标）。2014年）。这是一项非常重要的任务，因为不同的服装风格、任意遮挡和无约束的背景背景，人体关节的出现会有很大的变化，同时需要识别细颗粒的关节坐标。作为一种强大的图像处理模型，循环神经网络（CNNs）在这项工作中表现突出。1998年）。现有的工作通常侧重于设计专门为参考中的人体姿势量身定制的神经网络架构（Newell，Yang，and Deng 2016；Sun et al。2019年）

Methodology

研究了人体姿态估计中包含编码和解码的坐标表示问题。目标是预测给定输入图像中的关节坐标。为此，我们需要学习一个从输入图像到输出坐标的回归模型，heatmapi通常在bothmodel训练和测试期间用作坐标表示。具体来说，我们假设可以访问一组训练图像。为了便于模型学习，我们将一个关节的地面真值坐标标记为一个热图作为有监督的学习目标。在测试过程中，我们需要在原始图像坐标中将预测的热图记录到坐标系中空间。

我们的DARK是模型不可知的，与任何现有的基于热图的姿态模型无缝集成。重要的是，这不涉及对以前方法的任何算法更改。特别是，在训练过程中，唯一的变化是根据精确的关节坐标生成的地面真实热图数据。在测试时，我们将任何模型（如HRNet，Sun等）预测的热图作为输入。2019），并在原始图像空间中输出更精确的关节坐标。在整个生命周期中，我们保持现有模型作为原始设计的完整性。这使得我们的方法的通用性和可扩展性最大化

Conclusion

在这项工作中，我们首次系统地研究了在无约束图像中人体姿态估计的坐标表示（包括编码和解码）问题。我们不仅揭示了这一问题的真正意义，而且提出了一种新的分布感知的关键点（暗）坐标表示法，用于更具判别性的模型,训练和推理。作为一个可随时使用的插件组件，现有的最先进的模型可以无缝地从我们的黑暗方法中受益，而无需任何算法调整，成本可以忽略不计。除了从经验上证明了坐标表示的重要性之外，我们还验证了DARK在两个具有挑战性的数据集上对当代模型进行广泛实验的性能优势。我们也提供了一系列深入的组件分析，对我们模型公式的设计原理有一定的见解。

总结：对于热度图的坐标表示，原本就是按比例映射到原图像素，但是这样误差比较大。现在按照某个有先验知识的分布来映射回去，不是死板的按比例，就准多了，也就是说，加了先验知识，模型映射信息更多了。这篇论文没有局限与网络的设计更改之类的常规方案，而是对热图的坐标表示这个少有人关注的点做了改进，并且可以很好的融入到现在有的最先进的网络架构中去，这样的科研思路很值得借鉴。

最近在用远程服务器做实验，环境都是配置好了的，几乎不用担心环境的问题，直接就可以跑实验，有同样需求的朋友可以参考：智星云官网： http://www.ai-galaxy.cn/，淘宝店：https://shop36573300.taobao.com/公众号: 智星AI，

近期北京的疫情出现了反复，截止到昨天已经有79例的确诊病例，虽然谁都不想看到这样的情况发生，但是既然已经发生了就好好面对吧，就像这次疫情一样，我相信这次疫情肯定会对很多人的生活带来很多改变，既然这些都无法选择，那我们就好好面对，保持心理层面的从容。PEACE

 

 

“我以前总是担心自己长大后会怎么样、赚多少钱、会不会有一天出人头地。有时候你最是盼星星盼月亮的事儿就是不会发生，可意想不到的那些却自然而然地来了。我说不清楚为什么，你遇见过千百个人，而他们只不过是匆匆过客；接着你就邂逅了那么一个人，改变了你的生命直到永远。”——《Love and Other Drugs》

 

 

参考资料：

https://arxiv.org/abs/1910.06278

https://github.com/ilovepose/DarkPose

 http://www.ai-galaxy.cn/

https://shop36573300.taobao.com/