BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs

Abstract

我们提出了BlazeFace，这是一种轻量级且性能优异的面部检测器，专为移动GPU推理而设计。它在旗舰设备上运行速度可达200到1000+ FPS。这种超实时性能使其能够应用于任何增强现实管道中，作为任务特定模型的输入来准确识别面部感兴趣区域，例如2D/3D面部关键点或几何估计、面部特征或表情分类以及面部区域分割。我们的贡献包括一个轻量级的特征提取网络，该网络受到MobileNetV1/V2的启发但有所不同，基于单次多框检测器（SSD）修改的适合GPU的锚点方案，以及一种改进的替代非极大值抑制的平局分辨策略。

1. Introduction

近年来，深度网络中的各种架构改进（[4, 6, 8]）使实时物体检测成为可能。在移动应用中，这通常是视频处理管道中的第一步，接下来是特定任务的组件，如分割、跟踪或几何推理。因此，物体检测模型的推理必须尽可能快，最好性能远高于标准的实时基准。

我们提出了一种新的面部检测框架，称为BlazeFace，该框架针对移动GPU推理进行了优化，并改编自单次多框检测器（SSD）框架[4]。我们的主要贡献包括：

1. 与推理速度相关的改进： 1.1. 一个非常紧凑的特征提取卷积神经网络，结构上与MobileNetV1/V2 [3, 9]相关，专门为轻量级物体检测设计。 1.2. 一个基于SSD [4]修改的新型GPU友好锚点方案，旨在有效利用GPU资源。锚点[8]，或SSD术语中的先验，是预定义的静态边界框，作为网络预测调整的基础，并确定预测的精细度。

2. 与预测质量相关的改进：一种替代非极大值抑制[4, 6, 8]的平局解决策略，