人体部位检测：Hier R-CNN

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9229236
论文代码：https://github.com/soeaver/Hier-R-CNN
论文出处：IEEE Transactions on Image Processing，2020.

摘要

• 在实例级检测人体部位（Detecting human parts at instance-level）是分析人体关键点、动作和属性的必要前提。
• 尽管如此，目前还缺乏大规模的、注释丰富的人体部位检测数据集。
• 我们通过COCO Human Parts来填补这一空白。该数据集基于COCO 2017，是首个实例级人体部位数据集，包含复杂场景和高度多样性的图像。
• 为了反映自然场景中人体的多样性，我们对人体部位进行了标注(a)用一个边界框来表示位置，(b)包括脸、头、手、脚在内的多种类型，（c）人与人体部位之间的隶属关系，(d)细粒度地分为右手/左手和左脚/右脚。
• 许多更高层次的应用和研究可以建立在COCO人体部件的基础上，如手势识别、脸/手关键点检测、视觉动作、人-物交互和虚拟现实。
• 该数据集包括66,808个图像中总共有268,030个人实例，并且2.83 parts/ person instance。
• 我们对我们的注释的准确性提供了统计分析。
• 此外，我们提出了一个强基线，用于在该数据集上以端到端方式在实例级检测人体部位，称为Hier(archy) R-CNN。
• 它是Mask R-CNN的一个简单而有效的扩展，可以检测每个人实例的人的部分，并预测它们之间的从属关系。

1. 简介

• Detecting human parts in instance-level是人类视觉理解中最重要的组成部分之一，近年来引起了越来越多的关注
• 人体部位的准确定位在手势识别、面部关键点检测、手部关键点检测、视觉动作、人物交互、虚拟现实等应用中起着至关重要的作用。
• 然而，在现实应用中，理解人体的各个部分仍然存在许多挑战。
• 人体部位检测缺乏大规模的、注释丰富的数据集。
• 此外，人与人体各部分之间的从属关系是未知的，我们无法确定检测到的人体各部分属于哪一个人。
• 为了解决上述缺点，我们提出了COCO Human Parts dataset，一个大型实例级人体部件检测数据集，具有丰富的注释和各种场景。
• COCO为每个人提供了bounding-box和instance mask，一些研究丰富了人实例的注释，如keypoint、densepose、human attributes和human visual actions。
• COCO Human Parts包含268,030人的实例超过66808个图像。
• 对于每个person实例，我们从官方COCO数据集继承person类别的边界框，并在每个实例中标记脸、头、右/左和右脚/左脚(如果是可见的)的位置(图1)。
  
• 总共有759,420个人体部位从训练和验证子集中被标记，并且每个实例2.83个部位，数据集中有各种比例变化和遮挡。
• 为了解决实例级的人体部位检测问题，我们注释了人体实例与人体部位之间的从属关系。
• 现在的目标检测器在几个主要的领域都取得了显著的成果，然而，如何同时检测个体实例及其他们的各部分，并预测它们之间的从属关系，仍然是一个挑战。 另一方面，人的实例与人的部分之间的尺度差距非常明显，这也是一个瓶颈。
• 为了减轻这些限制，我们在COCO Human Parts dataset 提出了一种实例级别的human parts detection pipeline，命名为：Hier (Hierarchical) R-CNN。它是一个端到端训练框架，建立在先进的视觉感知框架Mask R-CNN之上。
• Hier R-CNN遵循原有的Mask R-CNN管道在Faster分支检测人体，通过逐点预测机制使用附加的anchor-free Hier分支检测每个人的人体部分。
• Region Proposal Network只需要生成人的proposals，同时降低了anchor尺寸设计难度。
• Hier R-CNN与在图像级检测人和人体部分不同，它首先检测人实例，然后检测每个实例内部的部分(实例级)，从而确定它们之间的从属关系。
• 综上所述，本文有以下贡献：
  （1）我们构建了一个基于COCO的large-scale、rich-annotated的人体部位检测数据集，这是第一个实例级人体部位数据集，包含268,030个人体实例，超过66808张图片。每个人的实例都标注了脸、头、右手/左手和左脚/右脚的位置。据我们所知，这是第一个提供人的实例和人的部分之间从属关系的丰富的数据集。
  （2）我们提出了一种新颖的Hier R-CNN，以端到端方式解决实例级人体部位检测问题，这为激发未来在这一任务上的更多研究提供了坚实的基础。
  （3）对本文提出的COCO人体部位数据集进行综合评价，以验证其优越性Hier R-CNN在先进的探测器上了解不同自然场景中的人体部分。

2. RELATED WORK

2.1 Human Parts Datasets

• 在构建人体部位检测数据集方面已经做了一些开创性的工作，但大多数数据集的人体部位类别都不丰富。
• Vu et al.引入了一个大数据集，由来自21部好莱坞电影的224740个电影帧注释的369,846个人头组成，这些电影类型不同，代表不同的时代。
• CrowdHuman数据集提供人框和头框的注释。
• 在手部检测方面，Visual Geometry Group引入了VGGHand数据集，成为手部检测最关键的基准。VGGHand包含约11,194张图像，13,050个手实例，这些实例来自各种不同的公共图像数据集来源。
• EgoHands是Bambach等人提出的另一个重要的手部检测数据集，具有高质量和像素级的手部分割。它包含
  来自48个谷歌玻璃视频的4800帧，两个人之间复杂的第一人称互动。
• 人体足部检测是一项罕见的任务，常用于人体轨迹预测和足部关键点检测等问题。COCOFoot数据集，这是一个小的数据集，大约15,000个人类脚的实例with 6个脚的keypoints。COCOFoot用于训练足部关键点检测模型，以缓解糖纸效应、穿地板、脚部滑板等问题。
• HumanParts数据集包含人、手、脸三类注释。这是一个专注于人体部位检测的大规模数据集，提供了14962张高分辨率图像和106,879个注释，样本随机选择自AI挑战者数据集。
• Open Images是一个非常大的数据集，具有对象检测注释。Open Images的一个子集包含5个人体部位类别(人、头、脸、手、脚)的图像约823077张，并拥有超过470万个检测注释。该子集是目前最大的人体部位检测数据集，但存在一些明显的问题：严重的数据噪声(许多实例没有注释)，注释极度不平衡(如足类占比不足0.05%)，缺乏下属关系。由于这些问题，直接在Open Images数据集上进行监督学习很难训练出高性能的人体部位检测器。
• 综上所述，目前还没有大规模的、注释丰富的实例级人体部位检测数据集。
• 图2显