在视频画面中实现人脸遮挡检测 - 基于 TensorFlow 实现

在进行视频通话时，我们往往需要对画面进行一些实时分析，例如识别画面里的人、车、动物等等。这节里我们将使用时信魔方的人脸监视模块实现人脸被手部遮挡的检测，如下图所示效果：

 

预备知识

时信魔方的客户端使用 TensorFlow 作为机器学习引擎，服务器端使用 DJL 。本节我们的示例程序主要是演示客户端的人脸检测，使用 FaceMonitor 模块完成自动模型加载和画面实时预测，整个过程由 FaceMonitor 自动完成，对于开发者来说不需要知道如何使用 TensorFlow 来进行机器学习，做到 开箱即用 。

 

程序界面

首先我们需要选择一个可用的摄像机，用摄像机采集实时的人像。为了提示我们的脸部是否被手部遮挡，我们设计一个指示灯在工具栏的最右侧。

然后我们在页面中心显示实时人像画面。最后为了方便观察系统的数据，我们在画面下方设计一个日志显示容器。界面结构如下图所示：

 

准备工作

我们使用 MediaDeviceTool 媒体设备工具来枚举可用的摄像机设备。

JavaScript 代码：

MediaDeviceTool.enumDevices(function(devices) {
   
      var html = [];
      devices.forEach(function(desc) {
   
          if (desc.isVideo()