Real-time Hand-Detection using Neural Networks (SSD) on Tensorflow

计算机视觉领域现在有若干追踪方法。其中许多方法是基于规则的（例如，基于纹理和边界特征来提取背景，使用色彩直方图和HOG分类器来区分手和背景等），因而它们的鲁棒性不是非常好。例如，如果背景复杂，或者照明条件的急剧变化导致了肤色的急剧变化或追踪物被遮蔽，这些算法可能检测效果不尽如人意。（可以参考这篇关于HCI领域估计手部姿态的综述）。深度学习框架（例如tensorflow的Object Detection API）简化了针对自定义物体检测的模型的训练过程，使这个领域的工作变得更加容易上手。更重要的是，ssd、faster r-cnn、rfcn等快速神经网络模型的出现使神经网络成为实时检测（和追踪）应用的有吸引力的候选者。在HCI领域（如输入设备等），有很多像这样的鲁棒性很强的手部追踪应用。训练模型是一个多阶段过程（汇总数据集、清洗，分割训练、测试集并生成推理图）。虽然我简要描述了这些部分的细节，但还有其他一些教程更详细地介绍如何使用tensorflow Object Detection API。如果对从头开始训练一个定制的检测器感兴趣，我建议你通读这些教程。

Tensorflow的数据预备和网络训练

Egohands数据集

手部检测器模型使用了Egohands数据集中的数据。这个数据集效果不错的原因有几个。 它包含优质的像素级别标注（> 15000个抠像标注），其中有4800张图像包含手部。所有的图像都是基于第一人称视角（Google glass）拍摄的，这些图像取自48个不同的环境（室内，室外）和活动（玩纸牌，