A real-time hand detection system based on multi-feature

Abstract

• 本文介绍了一种能达到高速、高精度的手部实时检测系统。该系统使用GAB分类器实现手势的识别。
• 为了提高系统的性能，选择了三种有效的功能来描述手的视觉特性。此外，由于多种优化方法，包括快速计算HOG特征的方法、改进的级联分类和肤色预检测，这些方式使得检测速度加快。
• 在自行构建的数据集上进行了实验，结果表明，在3.1 GHz下运行的Intel Core i5-2400 CPU上，系统的检测率可达0.889，误码率为0.010，每帧32.6339 ms。

Introduction

• 高精度的手部实时检测系统是手势识别的前提。然而，由于光照的变化、背景的杂乱以及手势的多样性，手部检测任务具有挑战性。
• 与形状不固定的脸相比，人类的手有超过25度的自由度。因此，手部检测比面部检测更困难。
• 由于手部动作的多样性，很难用单一的特征准确地描述手部。在[4]中，作者比较了两个常用的特征：haar-like和hog。结果表明，Haar探测器探测手的速度大约是hog探测器的两倍。然而，由于Haar特征向量的长度是Hog特征向量的30倍，因此Haar特征需要更多的内存空间。
• 由于不同的特征描述了视觉特征的不同方面，多特征方法在许多领域获得了良好的性能。
• 本文在观察的基础上，提出了一种基于多功能的鲁棒实时手部检测系统，用于智能电视、智能手机等智能设备的交互。
• 我们主要集中在室内环境中的这项任务，那里可能存在杂乱的背景和变化的照明。在分析了手的组成部分之后，我们选择了三个有效的特征来描述它们。为了实现该系统，我们采用了快速计算HOG、早期终止机制和合并算法等多种方法进行检测。为了提高检测速度，提出了分段级联和肤色预检测等优化方法。然后比较了单特征系统、多特征系统和优化系统的精度和速度。

Related Work

• 基于Gloves的早期系统可以在检测速度和精度方面取得良好的性能。不幸的是，使用额外的设备使系统变得昂贵和不方便。
• 基于计算机视觉的手部检测系统按其尺寸可分为两类：（a）基于单目视觉的手部检测系统和（b）基于多目视觉的手部检测系统。
• 与仅能获得二维信息的单目视觉系统不同，多视系统可以通过深度传感器获取深度信息，如红外摄像机和Kinect。因此，它们可以实现运动和形状的精确建模。另一方面，基于多视觉的系统计算复杂，深度设备的成本使得该技术远离大众。
• 在[17]中，作者探讨了四种特征的潜力：颜色、时间运动、梯度范数和手势检测的运动残差，以及这四种特征组合的潜力。
• 皮肤颜色信息可以从背景中分割手。然而，当光线不足时，它是不可靠的，因为背景中有其他皮肤颜色的物体。
• 在[20]中，提出了一种融合图像显著性和皮肤信息的模型，大大提高了皮肤模式的检测精度。但是，在处理图像中的其他身体部位时，它不够有效。运动流模型通过从拍摄的图像中分割运动物体来检测手[21,22]，但它们不适用于非静止摄像机。
• Athitsos等人提出了一种通过引入隐藏状态形状模型（hssms）检测杂波图像中可变结构形状的方法。它能高精度地检测和识别手形。然而，本文并未提及速度。
• Viola和Jones[24]提出的利用类似haar的特征和增强类的实时人脸检测成功后，许多研究人员受到启发，采用这种特殊的算法进行手部检测。Chen等人在训练中使用了扩展的haarlike功能和adaboost，并将探测器并行化，以识别不同的手势。该系统在实验室条件下运行良好，但在动态环境中仍不确定[25]。

The Structure Of The Detection System

• 通过重新加权训练样本，Boosting可以基于一组弱分类学习强大的分类。受到提升分类的启发，Freund和Schapire提出了Adaboost算法[27,28]及其更有效的版本，Real AdaBoost和Gentle Adaboost。这些Adaboost算法的主要区别在于在每次训练迭代后对训练样本及其各自的弱类进行重新加权的过程。
• 
• 
• 

The multiple features in the training of weak classifiers

• 在训练强大的分类器之前，会计算样本图像的特征并将其放入特征池中。在提升期间，从池中选择最具辨别力的特征。 为了改善人手的特征，我们将手模型分解为两部分：手指和手掌。 选择HOG功能以改善手指的检测; 为了改进手掌的检测，定义了一种基于方差的新特征; Haar特征用于代表整个手。
• 
• 考虑到HOG特征可以描述对象局部区域的外观和形状，我们将HOG特征放入特征池中以改进对手指的描述。 此外，我们将HOG特征的每个维度视为单个特征，而不是36维的HOG特征。 因此，一个原始HOG功能被分成36个单独的功能。 特征尺寸的减小使计算更容易。 为了加速计算，我们使用一种更有效的方法，通过利用两个查找表来计算HOG特征。
• 
• 
• 
• 
• 
• 
• 
• 作为物体检测问题中最常用的特征类型，Haar不仅具有很强的通用性，而且可以通过积分图像有效地计算。 因此，我们将Haar功能放入我们的功能池中以描述手的整个区域。 为了满足实时能力的要求，使用了基于标准特征的几个平方Harr特征，而不是旋转的Haar特征。
• 
• 
• 
• 
• 

Conclusions and future work

• 本文提出了一套完整的手部实时检测系统，包括数据集的编制、分类器的训练和检测。
• 为了加快检测速度，对系统进行了优化，不仅提高了检测速度，而且降低了系统的误码率。实验结果表明，该系统具有良好的精度。检测速度为每帧32.6339 ms，满足实时性要求。