基于MATLAB的疲劳检测系统（UI界面，代码含详细注释）

基于MATLAB的疲劳检测系统（UI界面，代码含详细注释）

疲劳现象出现在日常生活的各种场合,在驾驶环境中对于疲劳的检测尤为重要。

本文基于MATLAB和dlib模型及头部姿态估计的方法实现实时疲劳检测，采用摄像头实时采集头部视频资料，利用OperCV实现人脸检测，通过dlib模型可以提取出人脸的68个器官特征点，先利用EAR算法和AR算法可以区分出眼部和嘴部的行为状态，根据实验合理设置阈值判断疲劳行为，再利用头部姿态估计的方法，根据俯仰角和滚转角信息综合判断疲劳状态。

1、基本原理

（1）整体流程

疲劳检测系统基于驾驶员面部图像处理来研究驾驶员状态的实时系统。首先挖掘出人在疲劳状态下的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出基于这些参数的识别方法，最后输入获取到的状态数据进行识别和判断。

在这里插入图片描述

• 系统模块初始化：界面功能初始化、模型加载
• 图像采集：打开摄像头或者导入视频文件
• 人脸跟踪与检测：使用dlib.get_frontal_face_detector() 获得脸部位置检测器，实现人脸检测跟踪
• 面部关键点提取：使用dlib.shape_predictor获得脸部特征位置检测器，68个关键点
• 疲劳检测判断：从眨眼频率（眼部关键点）、打哈欠（嘴巴开合角度）、头部摆动打盹（头部三维姿态）三个角度进行判断

（2）dlib介绍

dib是一种基于C++编程语言的、开源的、跨平台的工具包，利用在C++中创建复杂的程序来解决实际中的机器学习工具和算法。目前，dib 模型已广泛运用于工业和学术创新，包括机器人、安防系统、监控识别设备，嵌入式设备和复杂的高 性能计算环境。dib 中包含许多模块，主要有机器学习、深度学习和图像处理。本文研究的内容主要是dib中的图像处理模块用于人脸特征点提取的头部姿态估计， 相比于目前用于检测的tesorlow和PyToud两大数据库而言，dib 模型在于图像处理以及特征点提取、对比等方面有更大的优越性和通用性。因此dib模型常运用于人脸检测领域。

dlib模型中的特征点提取包含SURF算法和HOG算法。SURF算法(全称: SpeededUp Robust Features)是一种改良的SIFT算子，在保持原算子的优良性能基 础上，改良了其计算复杂、耗时的缺点，主要针对的是角点计算；HOG算法 (Histogram of Oriented Gradient,方向梯度直方图)主要捕获轮廓信息，并对获得的图像进行灰度化处理，并校正来降低图片阴影和光照造成的噪声影响。本实验对于面部特征点提取采用的是面部轮廓信息，因此采用HOG算法对于面部特征点的提取。HOG特征提取的流程如下，首先对于图像灰度化处理后Gamma压缩和归化图像，目的是为了减少光照对于实验的影响，然后在进行统计，先将cell里的梯度进行直方图统计，组合成一个block,作为HOG的特征，并进行归一化处理，进一步减少光照对于图像的影响。

（3）面部关键点提取

我们的脸有几个可以识别的特征，比如眼睛、嘴巴、鼻子等等。当我们使用DLib算法检测这些特征时，我们实际上得到了每个特征点的映射。该映射由68个点（称为地标点）组成，可识别以下特征：

在这里插入图片描述

颚点= 0–16 右眉点= 17–21 左眉点= 22–26 鼻点= 27–35 右眼点= 36–41 左眼点= 42–47 口角= 48–60 嘴唇分数= 61–67

（4）基于EAR算法的眨眼频率检测

EAR算 法（Eye Aspect Ratio，EAR） 是Soukupová等于2016年提出的一种用于检测眨眼频率的算法。它是通过定位眼睛和眼睑的轮廓来计算眼睛的长宽比，其具体计算公式如下所示：