A New Hand Segmentation Method Based on Fully Convolutional Network

Abstract

• 手部分割具有人机交互、人的行为识别等重要应用。然而，由于手部运动和环境的复杂性，传统的手部分割方法不能得到广泛的应用。
• 随着深度学习的发展，卷积神经网络在许多视觉任务中表现出强大的功能。本文提出了一种基于全卷积网络的手部分割方法。我们将VGG 16层网络（VGG16）的FCN-8S结构转换为手部分割网络。
• 通过对ILSVRC-2014竞赛中的VGG16模型版本进行微调，得到了一个专业的手部分割模型。实验表明，该方法在手部数据集上实现了91.0%的平均IU，并具有很好的手部分割性能。

Introduction

 

• 传统的手部分割方法依赖于肤色，特征提取等。这些方法的每像素分割精度和性能都不容易满足高质量的要求。
• 近年来，深部神经网络尤其是卷积神经网络取得了巨大的成功。它们在目标识别、人脸跟踪、人体姿态估计等计算机视觉任务中得到了广泛的应用和成功的应用。
• 许多先锋作品将CNN应用于手部检测，包括手部关键点检测、手部骨架检测、边界盒检测。然而，这些典型的卷积神经网络的每像素手部分割结果仍然需要大量的努力。
• 在大多数不同的卷积神经网络中，完全卷积神经网络（FCN）[1]作为卷积神经网络的一种重要类型，可以进行端到端和像素到像素的训练。它已广泛应用于将普通分类网络转移到分割任务中，适用于语义分割任务。
• 大量的实验表明，FCN在每像素任务中是有效的，在语义分割任务中可以超越最先进的方法。

Methods

• 全卷积网络能够为语义分割定义一种新的结构，该结构由粗信息、语义信息和局部、外观信息组成，以提高预测能力。
• 在本研究中，我们选择了vgg 16层网络作为我们方法的基本架构。
• 为了构建vg16的fcn-8s网络，在pool4层的顶部添加1×1卷积层以生成pool4预测（fcn-32s网络），在conv7（卷积fc7）的顶部添加2×上采样层以同时生成conv7预测。然后将两个预测融合在一起，并将它们作为一个保险丝输出（FCN-16S网络）进行求和。类似地，在pool3层的顶部添加另一个1x1卷积层以生成pool3预测。 然后将预测与混合输出的预测的2倍上采样融合在一起。
• 
• 由于很难找到一个能完全满足我们培训和验证要求的已发布的手部分割数据集，因此我们自行标记了一个手部分割数据集。
• 在本研究中，我们从两个来源收集了手部图像。我们首先从互联网上收集了只有一只手和复杂背景的公共图像。然而，收集到的手图像不能覆盖所有的手势。然后，我们让几个志愿者做一些缺乏典型手势的动作，并捕捉手的图像。通过采集到的真实手部图像，手部骨架（关键点）和手部遮罩都被标记。我们总共收集了10000多张图像用于我们的神经网络训练。
• 完全卷积网络将完全连接的层转换为卷积层，以便它们可以使分类网络导出热图。 FCN-8s网络检测属于每个类的每个像素的概率，然后逐个比较这些概率以获得最大的一个。 该像素被标识为对应的类。
• 我们的目标是让FCN-8S网络只对手进行语义分割，而忽略其他对象，我们首先将输出的数量调整为两个，即手和背景。
• 我们决定通过整个VGG16的反向传播来微调所有层的参数。我们需要注意的是，在从完整的16层版本初始化时，应该分阶段对vgg网络进行培训，以获得更好的性能。如果我们想得到一个更好的模型，我们应该先对FCN-32S网络进行微调。然后利用FCN-32S模型对FCN-16S网络进行升级。最后，利用FCN-16S模型对FCN-8S网络进行参数升级。

Conclusion

• 本文采用了一种新的基于FCN-VGG16的手部检测体系结构。在手部分割中，我们在平均IU语义分割指标上取得了良好的效果。大量的手部自然图像实验表明，该方法能够很好地处理手部自然图像。但是仍然有很多进步的空间。
• 下一步是使用改进版本的vg16模型对fcn-32s网络进行微调，然后使用它培训的模型依次升级fcn-16s网络和fcn-8s网络。假设这能够实现更好的手部分割性能。并将我们的方法推广到其他卷积网络中，如Alexnet、Googlenet等。