A Hybrid Method Using Haar-like and SkinColor Algorithm for Hand Posture Detection Recognition Track

Abstract

• 人手姿势检测和识别是计算机视觉中的挑战性问题。我们介绍了一种能够在复杂背景中识别手势的算法。该系统结合了两种算法，以实现更好的手部检测率。
• 最近Viola等人引入了快速物体检测方案; 我们使用这种方法来检测第一组连续帧中的手势。皮肤的彩色分布可以在这个集群中找到。
• 随着手势的形状在后续帧中不断变化，皮肤区域动态更新。手势的分类利用静态特征来定位和计数手指。
• 卡尔曼滤波器用于根据位置跟踪面部和手部斑点。 在实验中，我们在各种环境中测试了我们的系统，结果显示了该方法的有效性。

Introduction

• 人手是由许多连接部分和关节组成的复杂关节状物体。考虑到全局手姿势和每个手指关节，人手运动具有大约27个自由度（DOF）。实时裸手检测和跟踪成为许多领域中的重要问题，尤其是手语翻译器（SLT）。已经基于肤色，手的移动和图案检测方法开发了许多方法。
• 采用基于肤色的手部检测的系统本身并不可靠。必须将手与其他肤色物体区分开来，并且存在光照条件不足的情况。运动流信息是另一种可以在某些条件下填补这一空白的方式。除了肤色和手部动作之外，M.Baris和Lobo方法利用了这样一个事实，即人的手指具有独特的管状结构和弯曲的尖端。另一方面，很少有系统在基于外观的检测框架中运行。Kolsch和Turk，Ong等开发了一种基于AdaBoost的手部检测系统，但他们的方法是特定于视图的。
• 通过使用上述提出的一种隔离方法难以实现手检测的良好准确性。 Michal Kawulok皮肤检测系统是在亮度通道中根据人脸的几何特性进行的，这些人脸可以为每个可以检测到人脸的图像动态更新。
• 这里提出的方法是结合两种方法，基于外观的方法和相互补充的肤色分割方法。对于许多模式识别应用已经实现高检测率的Haar样特征和AdaBoost算法在该工作中用作检测特定手形状作为系统的初始化阶段的主要方法。
• 由于手是复杂的关节对象，因此难以在所有视频帧上执行基于外观的方法。基于该事实，在图像中检测到手势之后，使用彩色空间图像从检测到的手势的中心提取8×8肤色盒的样本。这允许系统克服视图特定以及照明变化的问题。
• 在基于像素的分割和形态操作之后，以手部中心作为参考，利用一维轮廓线的边界跟踪概念进行手指检测。Ho Sub Yoon等人使用手势速度剖面进行动态手势识别，同时利用静态剖面进行手指检测。以前有许多作品提取了手的某些特征，用于手指的检测。
• 我们的方法使用两个标准来区分脸和手：（1）脸的面积更大，（2）手移动更快。然后我们使用卡尔曼滤波器[18]进行跟踪。

Open Hand Detection with Harr-like Features

• 我们已经使用haar-like特征在图像帧中检测到了手的姿势。我们首先使用haar-like特征，利用二线特征、四边特征、一质心特征和一对角特征从手上提取信息，然后使用adaboost算法进行学习。
• 第一个原因是类似haar的特征可以编码特定领域的知识，这很难用有限数量的训练数据来描述。与原始像素相比，类似haar的特征可以有效地减少/增加类内/类外变化，从而使分类更容易。
• 第二个动机是，一个类似haar的基于特征的系统可以比一个基于像素的系统运行得更快。
• 除了上述优点外，类似haar的特性对噪声和光照变化也相对稳健，因为它们计算白色和黑色矩形之间的灰度差。
• 使用积分图像，可以在四个数组引用中计算出任何矩形和。这减少了图像处理时间。位置x，y处的整型图像包含x，y上方和左侧像素的总和。使用以下一对递归：
• 
• 
• Adaboost学习算法是一种基于一系列弱分类器的逐步提高精度的方法。最初，它在每个训练样本上保持重量的均匀分布。
• 在第一次迭代中，该算法使用一个类似haar的特征训练一个弱分类器，从而获得训练样本的最佳识别性能。
• 在第二次迭代中，第一个弱分类器错误分类的训练样本得到更高的权重，从而选择新的样本。
• 在训练过程的第一阶段，将弱分类器的阈值调整得足够低，以便在保持假阴性率接近零的同时，100%的目标对象都能被检测到。

Skin Color Segmentation

• 为了根据颜色从非皮肤区域分割人类皮肤区域，不同的方法发现不同种族的不同人类皮肤颜色在颜色空间中属于紧凑区域[15，16]。然而，对于不同肤色和不同照明条件下的人来说，建立肤色模型是不可靠的。限制来自这样一个事实，即人类皮肤具有共同的特性，并且在应用颜色标准化之后，可以在不同的颜色空间中定义它。因此，该模型必须接受广泛的颜色范围，使其更容易受到噪音的影响。
• 我们的工作通过为每个人分别定义肤色来解决这个问题。同时，通过检测手部启动系统，将图像从RGB转换为YCBCR空间。然后，提取8x8像素的样本作为搜索区域，同时丢弃亮度Y分量。皮肤像素值的分布基于cb和cr分量以作为一个附加的阈值条件而突出显示，根据这三个条件的不同限制分割蒙皮区域。

1-D Profile for Finger Detection

• 从腐蚀图像中减去填充图像，提取出手部边界。一个重要的问题是确定检测到的手边界的内部轮廓，这强调手指的检测。具体如下：
• 
• 
• 

Kalman Filter for Tracking

• 种基于线性动力学系统的滤波器是基于时间域的。它们是建立在受高斯噪声扰动的线性算子上的Morkov链上的模型[18]。它是一个递归滤波器，意味着只有以前时间状态和当前测量的估计状态才需要完成当前状态的估计。
• 利用当前时间步的测量信息对预测进行改进，得到新的更准确的估计。当目标动力学是线性的并且与滤波器中使用的模型相匹配时，卡尔曼滤波器本身表现良好。
• 
• 
• 
• 我们使用一个简单的HAAR特性构建了一组八个弱分类器。每个弱分类器都是一个简单的基于图像块上的Haar集的检测器。在使用图4所示的400个正片对系统进行训练后，由320x240分辨率的相机拍摄，并从网络上获取负图像集，然后通过19x19调整大小。Adaboost用于线性组合多个弱分类器来检测手。
• 通过消除皮肤模型的分布，我们的方法集中在减少可能出现皮肤像素的搜索区域。通过从手的中心提取一个8x8框，可以突出显示像素上限和下限。在基于CR、CB和CR-CB对皮肤颜色进行分割后，采用清洁工艺，然后进行双重扩张，以进一步加工。
• 由于我们的皮肤分割方法主要关注皮肤颜色的手部色彩分布，因此我们发现，1-D轮廓传递了大量有关手指数量和位置的信息。

Conclusions

• 在这项工作中，我们提出了一种基于HAAR基函数和皮肤颜色分割的手部检测和识别技术，然后使用卡尔曼滤波器进行跟踪。该系统主要研究具有HAAR特征的开放式手部姿态识别和ADABoost学习算法。
• HAAR特征能够有效地检测图像帧中的手部姿态，具有较高的精度和快速的计算时间。然而，这种方法的推广经常会遇到收集大量训练数据的困难。使用一个简单的皮肤检测算法限制每个人可以非常有效的检测手。
• 我们发现，当手部区域被清晰地检测到时，其边界不会受到噪声的严重影响，这项技术将达到较高的手指检测分类精度。