MATLAB疲劳检测的实现

MATLAB疲劳检测的实现

疲劳检测在安全驾驶方面是一个很热门的话题，本质上是一个机器视觉的任务。本文章将讲解疲劳检测的实现过程，并使用MATLAB，opencv、dlib库来实现疲劳检测。

首先疲劳检测的原理其实是通过检测眼部的眨眼动作来判断一个人的疲劳状态，正常在驾驶的时候眼睛是不会发生多次数的闭眼的，当人处于疲劳，犯困的时候，眼睛会不自觉的闭上。我们可以通过抓住这一点，利用摄像头来抓取画面，来判断一个人是否是疲劳状态。

要判断眼睛的状态，首相我们需要定位找到眼睛的位置。Dlib模块提供了人脸关键点检测器，可以帮助我们找到人脸的68个关键点的位置，包括眼睛。

在关键点定位的官方文档中，提取68个关键点来表示脸上的部位。其中：

第1个点到第17个点：脸颊；

第18个点到第22个点：右边眉毛；

第23个点到第27个点：左边眉毛；

第28个点到第36个点：鼻子；

第37个点到第42个点：右眼；

第43个点到第48个点：左眼；

第49个点到第68个点：嘴巴。

如下图所示：

因此我们需要用到dlib模块，同时还需要机器视觉库opencv和距离计算模块scipy.spatial（后面会讲述到如何应用）

1、首先导入相关的模块：

from scipy.spatial import distance as dist  import numpy as np  import dlib  import CV2   

2、对脸上的部位进行定义，把检测到的关键点按照顺序定义好，方便后边当作数据的索引调用

FACIAL_LANDMARKS_68_IDXS = dict([  

        ("mouth", (48, 68)),  

        ("right_eyebrow", (17, 22)),  

        ("left_eyebrow", (22, 27)),  

        ("right_eye", (36, 42)),  

        ("left_eye", (42, 48)),  

        ("nose", (27, 36)),  

        ("jaw", (0, 17))  

    ])  

3、定义EAR（eye aspect ratio）计算函数，dlib模块只是帮助我们定位眼睛关键店的位置，后续的计算工作：例如何如判断眼睛闭眼需要我们通过算法去实现。在论文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。

在包含着人眼的图片中画出六个点，如图所示：

当人眨眼时，这六个点的距离会发生变化，则可以用这六个点的一些距离关系来判断是否有眨眼行为。

定义EAR函数：

我们可以结合论文公式和我们检测到的位置数据，定义出计算眼睛的ear值：

 def eye_aspect_ratio(eye):  

        # 计算距离，竖直的  

        A = dist.euclidean(eye[1], eye[5])  

        B = dist.euclidean(eye[2], eye[4])  

        # 计算距离，水平的  

        C = dist.euclidean(eye[0], eye[3])  

        # ear值  

        ear = (A + B) / (2.0 * C)  

        return ear  

4、设置判断参数

如果EAR小于0.3，则判断为闭眼，如果视频中有连续三帧以上都有闭眼，则判断为眨眼行为。

 # 设置判断参数  

 EYE_AR_THRESH = 0.3  # ear小于0.3判断为闭眼  

 EYE_AR_CONSEC_FRAMES = 3  # 连续三帧ear都小于0.3判断为眨眼  

 # 初始化计数器  

 COUNTER = 0  

 TOTAL = 0  

5、加载dlib库中的人脸检测与关键点定位。进行关键点定位之前要先进行人脸定位，这里也是用dlib包进行检测，在使用关键点检测器对检测到的人脸进行关键点检测。

detector = dlib.get_frontal_face_detector()  #人脸检测predictor=dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')  #关键点检测

6、分别提取两个眼睛区域

(lStart,lEnd)= FACIAL_LANDMARKS_68_IDXS["left_eye"]  (rStart,rEnd)=FACIAL_LANDMARKS_68_IDXS["right_eye"]  

7、读取视频

 vs = CV2.VideoCapture(0)  

8、对每一帧图片进行操作，实现功能

• 读取一帧图片并做预处理操作；
• 检测人脸；
• 获取人脸上的关键点坐标；
• 绘制眼睛区域；
• 计算左右两眼的EAR值，取平均值得到总的EAR值；
• 检查EAR值是否满足阈值，如果满足，眨眼次数加一；
• 将总的眨眼次数写在视频中。

 # 遍历每一帧  

    while True:  

        # 预处理  

        frame = vs.read()[1]  

        if frame is None:  

           break  #按比例缩放图像尺寸，这个步骤对检测效果有影响，越大越慢。

        (h, w) = frame.shape[:2]  

        width=1200  

        r = width / float(w)  

        dim = (width, int(h * r))  

        frame=CV2.resize(frame,dim,interpolation=CV2.INTER_AREA)  

gray = CV2.cvtColor(frame, CV2.COLOR_BGR2GRAY)  

  # 检测人脸 返回的检测到的人脸位置

        rects = detector(gray, 0)  

  # 接着我们遍历每一个检测到的人脸 ，分别对每一张脸做关键点检测，ears值计算。

  for rect in rects:  

      # 获取坐标  

      shape = predictor(gray, rect) 

           shape = shape_to_np(shape)  

           # 分别计算ear值

           leftEye = shape[lStart:lEnd] 

           rightEye = shape[rStart:rEnd]  

           leftEAR = eye_aspect_ratio(leftEye)  

           rightEAR = eye_aspect_ratio(rightEye)  

            # 算一个平均的  

            ear = (leftEAR + rightEAR) / 2.0  

            # 绘制眼睛区域  

            leftEyeHull = CV2.convexHull(leftEye)  

            rightEyeHull = CV2.convexHull(rightEye)  

            CV2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)  

            CV2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)  

            # 检查是否满足阈值  

            if ear < EYE_AR_THRESH:  

                COUNTER += 1  

            else:  

                # 如果连续几帧都是闭眼的，总数算一次  

                if COUNTER >= EYE_AR_CONSEC_FRAMES:  

                    TOTAL += 1  

                # 重置  

                COUNTER = 0  

            # 显示 把眨眼的次数显示在屏幕上

            CV2.putText(frame,"Blinks: {}".format(TOTAL), (10, 30),  

        CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)  CV2.putText(frame,"EAR:{:.2f}".format(ear),(300,30),CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)#展示图像  CV2.imshow("Frame", frame)  

        key = CV2.waitKey(10) & 0xFF  

        if key == 27:  

            break  vs.release()  CV2.destroyAllWindows()