基于Dlib模型的驾驶员疲劳检测

原文章地址：Dlib模型之驾驶员疲劳检测一（眨眼）_dlib疲劳检测-CSDN博客

因为我在这篇文章里的评论，有些朋友需要我修改后的代码，这里分享给大家。

当初我是找来当我自己的课设用的，实际运行后发现有点不太严谨，所以自己做了一点点修改

视觉疲劳检测原理

基于dlib人脸识别68特征点检测、分别获取左右眼面部标志的索引，通过opencv对视频流进行灰度化处理，检测出人眼的位置信息。

如何确定疲劳？

计算眼睛的宽高比，当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零。所以我们认为当EAR低于某个阈值时，眼睛处于闭合状态。

下载开源数据集

shape_predictor_68_face_landmarks.dat

链接：https://pan.baidu.com/s/1JFyqzQzJxDlApwGOe9Oseg?pwd=5o6t 
提取码：5o6t

官方下载地址：Links for dlib

源码

# -*- coding: utf-8 -*-
from scipy.spatial import distance as dist
from imutils import face_utils
import imutils
import dlib
import cv2
import time

# 定义两个常数
EYE_AR_THRESH = 0.2  # 眼睛长宽比
EYE_AR_CONSEC_FRAMES = 3  # 闪烁阈值
# 初始化帧计数器和眨眼总数
COUNTER = 0
TOTAL = 0
# 计时
Time = 0
start = 0
end = 0


def eye_aspect_ratio(eye):
    # 垂直眼标志（X，Y）坐标
    A = dist.euclidean(eye[1], eye[5])  # 计算两个集合之间的欧式距离
    B = dist.euclidean(eye[2], eye[4])
    # 计算水平之间的欧几里得距离
    # 水平眼标志（X，Y）坐标
    C = dist.euclidean(eye[0], eye[3])
    # 眼睛长宽比的计算
    ear = (A + B) / (2.0 * C)
    # 返回眼睛的长宽比
    return ear


# 初始化DLIB的人脸检测器（HOG），然后创建面部标志物预测
print("[INFO] loading facial landmark predictor...")
# 使用dlib.get_frontal_face_detector() 获得脸部位置检测器
detector = dlib.get_frontal_face_detector()
# 使用dlib.shape_predictor获得脸部特征位置检测器 人脸68关键点检测模型
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

# 分别获取左右眼面部标志的索引
(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]

# 打开cv2 本地摄像头
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FPS, 30)

# 从视频流循环帧
while True:
    # 进行循环，读取图片，并对图片做维度扩大，并灰度化
    ret, frame = cap.read()
    frame = imutils.resize(frame, width=720)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 使用detector(gray, 0) 进行脸部位置检测
    rects = detector(gray, 0)

    # 循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息
    for rect in rects:
        shape = predictor(gray, rect)

        # 将脸部特征信息转换为数组array的格式
        shape = face_utils.shape_to_np(shape)

        # 提取左眼和右眼坐标
        leftEye = shape[lStart:lEnd]
        rightEye = shape[rStart:rEnd]

        # 构造函数计算左右眼的EAR值，使用平均值作为最终的EAR
        leftEAR = eye_aspect_ratio(leftEye)
        rightEAR = eye_aspect_ratio(rightEye)
        ear = (leftEAR + rightEAR) / 2.0

        # 使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作
        leftEyeHull = cv2.convexHull(leftEye)
        rightEyeHull = cv2.convexHull(rightEye)
        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

        # 进行画图操作，用矩形框标注人脸
        left = rect.left()
        top = rect.top()
        right = rect.right()
        bottom = rect.bottom()
        cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 3)

        # 分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动
        # 循环，满足条件的，眨眼次数+1

        if ear < EYE_AR_THRESH:  # 眼睛长宽比：0.2
            COUNTER += 1

        else:
            # 如果连续3次都小于阈值，则表示进行了一次眨眼活动
            if COUNTER >= EYE_AR_CONSEC_FRAMES:  # 阈值：3
                TOTAL += 1
            # 重置眼帧计数器
            COUNTER = 0

        # 闭眼计时
        if ear < EYE_AR_THRESH and start == 0:
            start = time.perf_counter()
            end = 0

        if ear < EYE_AR_THRESH:
            end = time.perf_counter()

        if end >= start:
            Time = end - start

        if ear >= EYE_AR_THRESH:
            start = 0
            end = 0
            Time = 0

        # 进行画图操作，68个特征点标识
        for (x, y) in shape:
            cv2.circle(frame, (x, y), 1, (0, 0, 255), -1)

        # 进行画图操作，同时使用cv2.putText将眨眼次数进行显示
        cv2.putText(frame, "Faces: {}".format(len(rects)), (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, "Blinks: {}".format(TOTAL), (150, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, "Time: {:.2f}".format(Time), (300, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, "EAR: {:.2f}".format(ear), (450, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

        # print('眼睛实时长宽比:{:.2f} '.format(ear))
    # 判断 闭眼时间大于2秒提示sleep
    if Time >= 2:
        cv2.putText(frame, "SLEEP!!!", (200, 200), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (0, 0, 255), 2)
    # 窗口显示
    cv2.imshow("Frame", frame)

    # 按esc关闭 esc的ASCII码为27
    if cv2.waitKey(1) & 0xFF == 27:
        break

# 释放摄像头
cap.release()
cv2.destroyAllWindows()