计算机视觉算法实现——疲劳驾驶检测

喵了个AI

于 2025-04-15 08:00:00 发布

阅读量984

点赞数 20

分类专栏：计算机视觉实战项目文章标签：深度学习

本文链接：https://blog.csdn.net/m0_65481401/article/details/147233946

版权

计算机视觉实战项目专栏收录该内容

116 篇文章

订阅专栏

✨个人主页欢迎您的访问 ✨期待您的三连 ✨

✨个人主页欢迎您的访问 ✨期待您的三连✨

1. 引言：疲劳驾驶检测领域概述

疲劳驾驶是道路交通安全的主要威胁之一。据统计，全球约20-30%的交通事故与驾驶员疲劳有关。随着计算机视觉和人工智能技术的发展，基于视觉的疲劳驾驶检测系统已成为智能交通和汽车安全领域的研究热点。

疲劳驾驶检测系统通过分析驾驶员的面部特征、眼部活动、头部姿态等生理指标，实时判断驾驶员的疲劳状态，并在危险情况发生前发出预警。这类系统通常部署在车载设备或交通监控系统中，为驾驶员和道路安全提供重要保障。

近年来，随着深度学习技术的突破，疲劳驾驶检测的准确率和实时性得到了显著提升。现代系统能够实现高达95%以上的检测准确率，同时满足实时处理的需求（30fps以上）。这一技术的发展不仅限于车载应用，还扩展到了航空、铁路、工业操作等多个需要持续注意力监控的领域。

2. 疲劳驾驶检测算法的基本原理

疲劳驾驶检测系统通常包含以下几个核心模块：

2.1 人脸检测与定位

使用如Haar级联、HOG+SVM或深度学习模型（如MTCNN、RetinaFace）检测驾驶员面部区域。这一步骤为后续特征提取提供准确的输入区域。

2.2 关键点检测与跟踪

通过面部关键点检测算法（如Dlib、MediaPipe或专用CNN）定位眼睛、嘴巴、眉毛等关键特征点。常用的68点或98点面部标记模型能够精确描述面部结构。

3.3 疲劳特征提取

基于关键点位置计算多种疲劳指标：

眼部特征：PERCLOS（眼睑闭合时间比例）、眨眼频率、眼睛纵横比(EAR)
嘴部特征：打哈欠频率、嘴巴张开程度
头部姿态：点头频率、头部倾斜角度
面部表情：表情呆滞程度

2.4 疲劳状态分类

使用传统机器学习方法（如SVM、随机森林）或深度学习方法（如LSTM、3D-CNN）对提取的特征进行分类，判断当前驾驶员的疲劳程度。

3. 常用数据集及下载链接

高质量的数据集是开发和评估疲劳驾驶检测算法的基础。以下是几个常用的公开数据集：

3.1 NTHU-DDD数据集

描述：包含36名受试者在不同光照条件下的驾驶视频，标注了疲劳状态和多种面部特征
大小：约18GB
下载链接：http://cv.cs.nthu.edu.tw/php/callforpaper/datasets/DDD/

3.2 YawDD数据集

描述】专注于驾驶员打哈欠检测的数据集，包含多种场景下的视频
大小：约5GB
下载链接：https://www.kaggle.com/datasets/priyankamalviya/driver-yawning-detection-dataset-yawdd

3.3 UTA-RLDD数据集

描述】包含多种种族、性别和光照条件下的驾驶员状态数据
大小：约12GB
下载链接：https://sites.google.com/view/utarldd/home

3.4 Closed Eyes in the Wild (CEW)数据集

描述】专门用于眼睛状态分类的数据集
大小：约1GB
下载链接：http://parnec.nuaa.edu.cn/xtan/data/closed_eyes_in_the_wild.html

4. 代码实现

以下是基于Python和OpenCV的疲劳驾驶检测系统完整实现：

import cv2
import dlib
import numpy as np
from scipy.spatial import distance as dist
from imutils import face_utils
import time
import pygame

# 初始化pygame用于报警声音
pygame.mixer.init()
alarm_sound = pygame.mixer.Sound("alarm.wav")  # 需准备一个报警音效文件

# 常量定义
EYE_AR_THRESH = 0.25  # 眼睛纵横比阈值
EYE_AR_CONSEC_FRAMES = 20  # 连续帧数阈值
YAWN_THRESH = 20  # 打哈欠阈值
HEAD_TILT_THRESH = 15  # 头部倾斜阈值

# 初始化计数器
COUNTER = 0
ALARM_ON = False
YAWN_COUNTER = 0
TILT_COUNTER = 0

# 初始化dlib的人脸检测器和面部标志预测器
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  # 需下载此模型文件

# 获取眼睛和嘴巴的索引
(lStart, lEnd) = face_utils.FACIAL_LANDMARKS_IDXS["left_eye"]
(rStart, rEnd) = face_utils.FACIAL_LANDMARKS_IDXS["right_eye"]
(mStart, mEnd) = face_utils.FACIAL_LANDMARKS_IDXS["mouth"]

def eye_aspect_ratio(eye):
    # 计算两组垂直方向上的眼睛标志点之间的欧氏距离
    A = dist.euclidean(eye[1], eye[5])
    B = dist.euclidean(eye[2], eye[4])
    
    # 计算水平方向上的眼睛标志点之间的欧氏距离
    C = dist.euclidean(eye[0], eye[3])
    
    # 计算眼睛纵横比
    ear = (A + B) / (2.0 * C)
    return ear

def mouth_aspect_ratio(mouth):
    # 计算嘴巴高度
    A = dist.euclidean(mouth[2], mouth[10])  # 51, 59
    B = dist.euclidean(mouth[4], mouth[8])   # 53, 57
    
    # 计算嘴巴宽度
    C = dist.euclidean(mouth[0], mouth[6])   # 49, 55
    
    mar = (A + B) / (2.0 * C)
    return mar

def head_tilt_angle(shape):
    # 获取面部关键点
    nose_bridge = shape[27:31]
    chin = shape[8]
    
    # 计算鼻梁到下巴的向量
    dx = chin[0] - nose_bridge[0][0]
    dy = chin[1] - nose_bridge[0][1]
    
    # 计算角度
    angle = np.degrees(np.arctan2(dy, dx)) - 90
    return angle

# 启动视频流
cap = cv2.VideoCapture(0)
time.sleep(1.0)

while True:
    ret, frame = cap.read()
    if not ret:
        break
        
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    rects = detector(gray, 0)
    
    for rect in rects:
        shape = predictor(gray, rect)
        shape = face_utils.shape_to_np(shape)
        
        # 提取左右眼坐标并计算EAR
        leftEye = shape[lStart:lEnd]
        rightEye = shape[rStart:rEnd]
        leftEAR = eye_aspect_ratio(leftEye)
        rightEAR = eye_aspect_ratio(rightEye)
        
        # 平均EAR
        ear = (leftEAR + rightEAR) / 2.0
        
        # 计算嘴巴MAR
        mouth = shape[mStart:mEnd]
        mar = mouth_aspect_ratio(mouth)
        
        # 计算头部倾斜角度
        tilt_angle = head_tilt_angle(shape)
        
        # 可视化
        leftEyeHull = cv2.convexHull(leftEye)
        rightEyeHull = cv2.convexHull(rightEye)
        mouthHull = cv2.convexHull(mouth)
        cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)
        cv2.drawContours(frame, [mouthHull], -1, (0, 255, 0), 1)
        
        # 检测闭眼
        if ear < EYE_AR_THRESH:
            COUNTER += 1
            
            if COUNTER >= EYE_AR_CONSEC_FRAMES:
                if not ALARM_ON:
                    ALARM_ON = True
                    alarm_sound.play()
                
                cv2.putText(frame, "DROWSINESS ALERT!", (10, 30),
                            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        else:
            COUNTER = 0
            ALARM_ON = False
            
        # 检测打哈欠
        if mar > YAWN_THRESH:
            YAWN_COUNTER += 1
            if YAWN_COUNTER >= 10:  # 连续10帧检测到打哈欠
                cv2.putText(frame, "YAWN DETECTED!", (10, 60),
                            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        else:
            YAWN_COUNTER = 0
            
        # 检测头部倾斜
        if abs(tilt_angle) > HEAD_TILT_THRESH:
            TILT_COUNTER += 1
            if TILT_COUNTER >= 15:  # 连续15帧检测到头部倾斜
                cv2.putText(frame, "HEAD TILT DETECTED!", (10, 90),
                            cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        else:
            TILT_COUNTER = 0
            
        # 显示EAR、MAR和头部角度
        cv2.putText(frame, f"EAR: {ear:.2f}", (300, 30),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, f"MAR: {mar:.2f}", (300, 60),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
        cv2.putText(frame, f"TILT: {tilt_angle:.2f}", (300, 90),
                    cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
    
    cv2.imshow("Frame", frame)
    key = cv2.waitKey(1) & 0xFF
    
    if key == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

代码说明：

依赖库：需要安装OpenCV、dlib、imutils、numpy、pygame等库
模型文件：需要下载dlib的68点面部标志预测器模型(shape_predictor_68_face_landmarks.dat)
功能：
- 实时检测驾驶员眼睛闭合程度(使用EAR指标)
- 检测打哈欠行为(使用MAR指标)
- 检测头部倾斜角度
- 当检测到疲劳行为时触发声音警报
参数调整：可根据实际情况调整各阈值参数

5. 优秀论文及下载链接

5.1 经典论文

《Real-Time Eye Blink Detection using Facial Landmarks》
- 作者：Tereza Soukupova, Jan Cech
- 发表会议：21st Computer Vision Winter Workshop
- 下载链接：https://vision.fe.uni-lj.si/cvww2016/proceedings/papers/05.pdf
《Driver Drowsiness Detection Based on Eye Tracking and Dynamic Template Matching》
- 作者：W. W. W. Chong, S. A. K. Traore
- 发表期刊：IEEE Transactions on Intelligent Transportation Systems
- 下载链接：A dual-band HF/VHF electrically small monopole antenna with magneto-dielectric loading structure | IEEE Conference Publication | IEEE Xplore

5.2 深度学习相关论文

《Deep Learning Based Multi-Feature Fusion for Driver Fatigue Detection》
- 作者：X. Fan, B. Yin, Y. Sun
- 发表会议：IEEE International Conference on Multimedia and Expo (ICME)
- 下载链接：Effect of Disc Size on Natural Frequency and Stress Distribution in Adhesively Bonded Steel Structure | IEEE Conference Publication | IEEE Xplore
《Driver Fatigue Detection Based on 3D Deep Neural Network and LightGBM》
- 作者：L. Wang, Y. Pei, H. Xiong
- 发表期刊：Sensors
- 下载链接：https://www.mdpi.com/1424-8220/21/4/1383