A New Hand Segmentation Method Based on Fully Convolutional Network

Abstract

• 手部分割具有人机交互、人的行为识别等重要应用。然而，由于手部运动和环境的复杂性，传统的手部分割方法不能得到广泛的应用。
• 随着深度学习的发展，卷积神经网络在许多视觉任务中表现出强大的功能。本文提出了一种基于全卷积网络的手部分割方法。我们将VGG 16层网络（VGG16）的FCN-8S结构转换为手部分割网络。
• 通过对ILSVRC-2014竞赛中的VGG16模型版本进行微调，得到了一个专业的手部分割模型。实验表明，该方法在手部数据集上实现了91.0%的平均IU，并具有很好的手部分割性能。

Introduction

 

• 传统的手部分割方法依赖于肤色，特征提取等。这些方法的每像素分割精度和性能都不容易满足高质量的要求。
• 近年来，深部神经网络尤其是卷积神经网络取得了巨大的成功。它们在目标识别、人脸跟踪、人体姿态估计等计算机视觉任务中得到了广泛的应用和成功的应用。
• 许多先锋作品将CNN应用于手部检测，包括手部关键点检测、手部骨架检测、边界盒检测。然而，这些典型的卷积神经网络的每像素手部分割结果仍然需要大量的努力。
• 在大多数不同的卷积神经网络中，完全卷积神经网络（FCN）[1]作为卷积神经网络的一种重要类型，可以进行端到端和像素到像素的训练。它已广泛应用于将普通分类网络转移到分割任务中，适用于语义分割任务。
• 大量的实验表明，FCN在每像素任务中是有效的，在语义分割任务中可以超越最先进的方法。

Methods

• 全卷积网络能够为语义分割