A Sequential Classifier for Hand Detection in the Framework of Egocentric Vision

Abstract

• 目前的方法集中在逐像素的手部分割上，几乎所有活动都隐含了手部存在的假设。然而，在可穿戴式相机的许多应用中，这种假设是错误的。忽略这一事实可能会影响设备的整体性能，因为手动测量通常是更高级别推断的起点，或者可能导致计算资源和电池电量的无效使用。
• 在本文中，我们提出了一个两级顺序分类器，其中第一级为手势检测器，从全局角度处理可能存在的手，第二级为手势分割器，描绘在第一个块指示的情况下的像素级别的手部区域。
• 顺序分类器的性能以概率符号表示为两者的组合，允许独立于分段类型和训练阶段中使用的数据集测试新的手检测器的分类器。实验结果显示真阴性检测的显着改善，而不影响真阳性的表现。

Introduction

• 自我中心视觉分析中最受探索的领域之一与用户手的检测和跟踪有关。该区域的潜力很高，因为在许多情况下，它被用作关于用户的信息的高级推断的起点。当前手检测方法的努力集中在分割属于用户手的框架区域，同时执行诸如烹饪或与计算机一起工作的活动。这个问题通常在像素级解决，隐含地假设帧中存在先验手。
• 假设手的全时存在可能导致重要问题：i）可能的错误手部测量，特别是在无手帧中，将被传播到系统的其他级别并从设备产生错误的结论或不需要的反馈，以及ii）不必要的搜索 对于图像中的局部特征，意味着无效地使用计算资源和减少电池寿命。
• 本文的贡献有三个方面：i）我们提出了一种顺序分类器，即手检测/分割，它首先检测一般信息，并且只在必要时搜索细节，ii）我们将顺序分类器的性能推导为子部分的功能，允许在每个部分上单独工作，随后推断整个系统的性能; iii）我们分析特征和分类器的不同组合作为手检测器的性能。
• 这项工作中使用的功能是颜色直方图（RGB，HSV，LAB），Oriented Gradients直方图（HOG）和GIST。 分类器是支持向量机（SVM），决策树（DT）和随机森林（RF）。 与现有技术的手动分割方法相比，所提出的顺序分类器将假阳性率从65％降低到4％。

State Of The Art

• 根据[16]中提出的开创性工作，作为第一个用于自我中心对象识别的公共数据集而已知，现有的用于检测场景中的手的方法可以分为两组：模型驱动的方法，其基于2D或3D 手的计算机模型和数据驱动的方法，它们依赖于从视频帧中提取的特征。
• 第一组中的方法选择手模型的最佳匹配配置以重新创建视频帧的图像。这些方法能够推断出手的详细信息，但通常需要大量的计算资源和高度受控的环境。
• 第二组的方法使用提取的特征来推断手的位置。Jones和Rehg在1999年提出了第二组中的第一种方法，用颜色直方图检测图像中的皮肤像素。然而，以自我为中心的视频引入了额外的挑战，例如处理不同肤色，照明变化或相机运动。
• 看起来好的手部分割方法可以间接地解决手部检测方法，然而，在手部稀疏的活动中这不是真的，导致如已经描述的相当大的缺点。
• 物体检测是视频分析中的常见任务，并且经常被用于检测车辆，行人或面部。为了实现这一目标，使用正样本和负样本的大数据集训练分类器，随后用于不受控制的视频。 这些方法的一个重要方面是考虑了计算时间，以便它们中的大多数能够实时运行。
• 颜色直方图是用于图像分类的最常用的特征之一[8,7]，因为它直观的计算和直观的解释。各种颜色空间（如RGB，HSV，YCbCr或LAB）可以考虑颜色信息，同时减轻照明或颜色皮肤变化的潜在问题。特别地，HSV基于人类感知颜色的方式，而LAB和YCbCr基于颜色分量的亮度。
• 在自我中心视觉中，使用颜色直方图和视觉流的混合来进行手部分割，而[22]结合了HSV特征，一个随机森林分类器和用于手势识别的超像素。
• Dalal和Triggs提出了HOG功能与线性支持向量机（SVM）相结合，用于视频流中的行人检测，实现了相对较高的精度。 HOG捕获边缘或梯度结构，这是当地形状的特征。
• 我们还将GIST [18]视为图像的全局尺度描述符，其捕获纹理信息和图像的粗略空间布局。 GIST可以与其他局部描述符组合以准确地检测场景中的对象，并且最初与简单的单级分类树以及朴素贝叶斯分类器组合。 GIST描述符已成功应用于大规模图像检索和对象识别。
• 最后，值得一提的是众所周知的Haar类特征，首先由Viola和Jones引入，他们构建了一个高效的移动面部探测器，在实时物体探测中取得了良好的效果。 然而，在本文的其余部分中没有考虑该描述符，因为手形变化很大，因此，基于Haar的独特检测器是不够的。

Our Approach

• 预期手动分割器将以真阳性和假阴性检测率成功执行。关于另外两种情况，即使分类器擅长拒绝没有手的帧，也意味着对帧的所有像素进行彻底扫描。我们通过提出手检测器作为手动分割器的触发器来解决这个问题。在下一节中，我们以概率表示法表示每个分类器在其使用时的性能以及之后的顺序系统的性能。
• 
• 
• 
• 
• 
• 
• 、

Conclusions And Future Research

• 在本文中，阐述了手检和手分割之间区分的必要性，并提出了两种情况的理论方法。 基于这一思想，提出了一种顺序分类系统，旨在提高可穿戴设备框架中手推理的性能和可靠性。
• 我们的方法通过量化手持检测器被用作手动分割器的触发器时可以达到的最大改进来验证。 插入所提出的手检测器块避免了在93％的无手情况下不必要地执行像素乘像分类器。 共测试了6个功能和3个分类，结论是最好的是HOG-SVM组合。