效果惊艳！FAIR提出人体姿势估计新模型，升级版Mask-RCNN

密集人体姿势估计是指将一个RGB图像中的所有人体像素点映射到人体的3D表面。

• 我们介绍了DensePose-COCO数据集，这是一个大型ground-truth数据集，在50000张COCO的图像上手工标注了图像-人体表面（image-to-surface）的对应点。
  
• 我们提出了DensePose-RCNN架构，这是Mask-RCNN的一个变体，以每秒多帧的速度在每个人体区域内密集地回归特定部位的UV坐标。
  

DensePose-COCO数据集

我们利用人工标注建立从二维图像到人体表面表示的密集对应。如果用常规方法，需要通过旋转来操纵表明，导致效率低下。相反，我们构建了一个包含两个阶段的标注流程，从而高效地收集到图像-表面的对应关系的标注。

如下所示，在第一阶段，我们要求标注者划定与可见的、语义上定义的身体部位相对应的区域。我们指导标注者估计被衣服遮挡住的身体部分，因此，比如说穿着一条大裙子也不会使随后的对应标注复杂化。我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

在第二阶段，我们用一组大致等距的点对每个部位的区域进行采样，并要求注释者将这些点与表面相对应。为了简化这个任务，我们通过提供六个相同身体部分的预渲染视图来展开身体部位的表面，并允许用户在其中任何一个视图上放置标志。这允许注释者通过从在六个选项中选择一个，而不用手动旋转表面来选择最方便的视点。

我们在数据收集过程中使用了SMPL模型和SURREAL textures。

两个阶段的标注过程使我们能够非常有效地收集高度准确的对应数据。部位分割（part segmentation）和对应标注（ correspondence annotation）这两个任务基本是是同时进行的，考虑到后一任务更具挑战性，这很令人惊讶。我们收集了50000人的注释，收集了超过500万个人工标注的对应信息。以下是在我们的验证集中图像注释的可视化：图像（左），U（中）和V（右）是收集的注释点的值。

原文链接