A Robust Hand Detection Method Based on Skin Probability Map

Abstract

• 现有的手部检测方法通常采用HAAR和HOG描述符来实现，缺乏对复杂背景和实际应用中照明条件变化的鲁棒性。
• 本文提出了一种基于皮肤概率图（SPM）而非传统灰度图像空间的鲁棒手部检测方法。结果表明，在所生成的SPM图像中，手部区域可以得到很好的增强，背景区域可以被抑制。然后分别从皮肤掩模和概率图中计算出HAAR特征和HOG特征，称为皮肤增强特征。在滑动窗口搜索阶段，提出了一种高效的三级检测框架。
• 实验中建立了一个广泛的分类器训练数据集。手部检测结果表明，该方法比传统的手部特征描述符具有更高的鲁棒性。

Introduction

• 图像手部检测的挑战主要来自以下几个方面：a）人手本身是一个难以建模的可变形铰接物体; b）除了对环境照明敏感的肤色外，人手中没有显着的特征; c）真实环境通常与动态背景和光照变化复杂化。
• 一种传统的方法是通过像运动或皮肤颜色这样的图像线索来分割整个帧，以获得候选的手部区域。然后，在姿态验证候选区域进行几何结构分析。这种方法可以实现高效、无需模型训练程序。然而，基于外观的方法通常会受到具有挑战性的照明、类皮肤对象、动态背景等的影响。此外，使用运动线索的方法不适用于非静止摄像机。
• 一种更可靠的方法是利用隐式编码的图像特征训练手部检测器，然后采用滑动窗口方案进行手部姿态检测。广泛使用的外观特征包括Haarlike、Hog、Sift、Brief和拓扑特征等，但对于复杂的工作环境，单图像线索或特征仍然无法以足够的鲁棒性描述手部目标。
• 多种特征的组合已经成为基于图像的手部检测研究领域的趋势，例如HOG和皮肤特征的关联[12]，Haar、HOG和方差特征的组合，以及聚合通道特征。然而，对于大多数基于多特征的方法，检测精度的提高通常是以计算复杂度为代价的。
• 为了降低计算成本，提出了基于多特征的高效检测框架。在[14]中，首先选择了一些基于运动和皮肤特征的ROI区域，然后将手形模型和曲线匹配图搜索应用于手部目标定位。
• 在[15]中，提出了一种二级序列分类器。在该方法中，第一级用于从全局角度检测手的可能存在，第二级用于在第一级指示手存在的情况下，在像素级上描绘手的区域。这种高效的手工检测框架可以明显提高检测效率，但检测精度仍取决于特征描述符的选择。
• 在这项工作中，皮肤概率图提出了代表图像，而不是传统的灰度格式。使用SPM表示，可以在源图像中突出显示手部区域，并且可以大大抑制背景区域。然后，Haar-like和HOG特征分别从皮肤蒙版和概率图计算，并命名为皮肤增强特征。为了提高检测效率，构建了3级分层模型，以基于滑动窗口方案进行多个手势检测。
• 使用真实数据集对不同特征的各种组合进行实验，结果表明，与传统特征描述符相比，皮肤增强特征可以获得更高的检测精度和鲁棒性。

SPM-Based Hand Feature Representations

• 皮肤颜色是手检测应用中的重要图像特征，其计算效率，手变形的稳健性以及正常照射下的肤色窄分布。然而，皮肤特征对环境光敏感，通常在预处理阶段作为一种低阶特征使用。
• 本文首先利用模糊图像分割技术产生灰度SPM。基于SPM图像，可以提取皮肤增强的Haar特征和HOG特征。
• 
• 类似Haar的特征已广泛用于面部和手部检测。 然而，在动态环境下，Haar特征是不稳定的，受到手边界区域周围特征值的不稳定性的影响，其中存在手形的主要线索。​​​​​​​为了减少复杂环境引起的不稳定性，我们从皮肤掩模和概率图中提取Haar特征，并分别表示MaskHaar和ProbHaar等皮肤增强特征。同样，我们将基于灰度图像的类似haar的特征命名为灰度haar特征。
• 基于这些描述符，不同手势姿势特征分布之间的重叠率可以计算为：
• 使用皮肤增强描述符计算的分布之间的重叠率比基于传统haar描述符计算的分布之间的重叠率要低得多。这意味着皮肤增强型HAAR特征比传统特征更具辨别力。这一优势可以归因于皮肤遮罩和概率图，可以加强皮肤区域和抑制背景图像区域。因此，从SPM图像中提取出的类Harr特征可以更有力地反映手部姿势。
• Hog描述符可以对对象形状进行编码，而无需精确了解对象的位置和轮廓。然而，它的性能通常受到杂乱背景的影响。由于在复杂的环境下，由于干扰梯度大，手形编码中会引入过多的噪声，因此很难训练出可靠的手形检测仪。
• 为了使Hog描述子在复杂场景下更为健壮，本文采用SPM图像代替传统的灰度图像。生成的皮肤增强特征分别称为maskhog和probhog特征。
• 与之前分割模型是特定于实例并且需要在线学习的工作不同，这里的分割实际上是由人类皮肤的颜色模型的先验知识引导的，该颜色模型是类别特定的并且可以通过离线学习获得。 皮肤增强HOG功能的主要优点包括：a）皮肤提示有效地集成到HOG表示中，b）在大多数情况下，手边界周围的梯度方向将指向内部手区域，使手形编码变得更多规则的，c）可以增强手边界，并且可以过滤掉许多非皮肤对象。 然而，在具有挑战性的照明或存在类似皮肤的物体的情况下，所提出的皮肤增强的HOG特征的性能将变得退化。 在实际应用中，皮肤增强和传统HOG功能的组合一起使用，以提高手检测系统的稳健性。

Hierarchcal Detection Model

• 第一级是AdaBoost分类器，它是通过多个类Haar描述符的组合进行训练，并用于过滤掉大多数非皮肤类似的背景窗口。
• 第二级包含一系列姿势特定的SVMLR分类器，用于2类分类。该分类器是基于皮肤增强和传统的HOG特征相结合的训练。它们中的每一个都将负责区分一个特定的姿势与其他姿势类别以及更复杂的背景窗口图像。
• 第三个级别是（P+1）类SoftMax分类器[17]，用于区分预先定义的手部姿势，以及区分预先定义的姿势与先前级别中未定义的姿势和错误检测的窗口。
• 第一个层次的离散Adaboost是过滤掉大多数类非皮肤的窗口，这些窗口是通过基于三个类Haar描述符组合的所有类别的手势姿势样本来学习的。
• 
• 
• 
• 

Conclusions And Future Work

• 本文提出了一种鲁棒的基于图像的手部检测框架。为了提高手部特征表示的鲁棒性，提出了皮肤概率图来突出手部区域，抑制背景区域。通过将皮肤线索集成到HAAR描述符和HOG描述符中，构造了四种特征描述符。最后，构建了一个三级检测框架，在不牺牲检测精度的前提下，提高了手部检测效率。
• 不同描述符组合的分类器比较表明，在所有7种haar类特征组合中，MaskHaar和ProbHaar特征的组合导致了最优的adaboost分类器。基于ProbHog和GrayHog特征的SVMLR分类器性能最好。在实际实验中，基于所提出的特征检测器和检测框架，与传统的特征检测器相比，可以获得更为稳健的检测性能。