基于YOLO11与dlib的疲劳驾驶分析系统

基于YOLO11与dlib的疲劳驾驶分析系统
【包含内容】
【一】项目提供完整源代码及详细注释
【二】系统设计思路与实现说明
【三】前后端交互接口文档及部署说明
【技术栈】
①：系统环境：Windows/macOS/Linux
②：开发环境：Python 3.8.10、Django 4.2、OpenCV 4.7.0
③：技术栈：Django + YOLO + dlib + OpenCV + Bootstrap 5
【功能模块】
①：实时检测：通过摄像头实时监测驾驶员状态，发现疲劳驾驶行为时发出警告
②：视频检测：上传视频文件进行分析，检测整个视频中的疲劳行为
③：数据统计：提供历史检测记录和统计图表，帮助分析驾驶习惯
④：行为识别：识别抽烟、打电话、喝水等分心驾驶行为
⑤：状态评估：基于眼睛闭合度和打哈欠检测评估疲劳程度
【系统特点】
① 多维度疲劳检测，结合眼睛闭合度和打哈欠行为综合评估
② 支持多种分心驾驶行为识别（打电话、抽烟、喝水等）
③ 提供实时警告和语音提示功能，及时预防危险驾驶状态
④ 历史数据记录和可视化分析，帮助驾驶员了解自身习惯并改进
【核心技术】
① 基于YOLO的目标检测，识别面部及不良驾驶行为
② dlib面部特征点定位技术，精确捕捉眼睛和嘴部状态
③ 眼睛纵横比(EAR)和嘴巴纵横比(MAR)算法评估疲劳状态
④ Django Web框架实现跨平台访问和使用
【应用场景】
① 专业驾驶员安全管理系统，如货车、客车、出租车等
② 长途驾驶辅助系统，预防疲劳驾驶导致的交通事故
③ 驾驶行为研究和分析工具，用于改进驾驶安全培训
④ 智能车载系统组件，集成到车辆安全监控系统中

基于YOLO与dlib的疲劳驾驶检测系统设计与实现

摘要

疲劳驾驶是引发交通事故的主要原因之一，严重威胁着道路交通安全。为了有效预防此类事故，本文设计并实现了一种基于YOLO（You Only Look Once）深度学习目标检测算法和dlib面部特征点检测库的疲劳驾驶检测系统。该系统旨在通过计算机视觉技术实时监测驾驶员的面部状态和行为，识别疲劳迹象（如频繁眨眼、打哈欠）以及分心行为（如抽烟、打电话、喝水），并在检测到危险状态时发出预警。

本文首先介绍了疲劳驾驶检测的研究背景、意义以及国内外研究现状，阐述了现有技术存在的挑战。接着，详细介绍了系统所依赖的关键技术，包括Python编程语言、Django Web框架、OpenCV图像处理库、dlib面部特征点检测技术（特别是眼睛纵横比EAR和嘴巴纵横比MAR算法）以及YOLO目标检测算法。随后，进行了系统的需求分析和可行性分析，明确了系统的功能目标和技术、经济、操作上的可行性。在系统设计阶段，本文提出了基于B/S（浏览器/服务器）架构的系统整体设计方案，并对主要功能模块（用户管理、实时检测、视频检测、数据分析、预警模块等）进行了详细设计，同时设计了数据库结构。系统实现部分则具体阐述了开发环境的搭建过程以及核心功能（如人脸检测、特征点定位、疲劳状态判断、不良行为识别、前后端交互等）的编码实现细节，并重点说明了YOLO和dlib算法在系统中的具体应用。系统测试部分设计了详细的测试用例，对系统的各项功能和性能进行了测试，并对测试结果进行了分析，验证了系统的有效性和稳定性。

测试结果表明，该系统能够有效检测驾驶员的疲劳状态和常见的分心驾驶行为，检测准确率满足基本要求，实时性较好，界面友好，操作便捷，达到了预期的设计目标。系统为预防疲劳驾驶提供了一种有效的技术手段，具有一定的实际应用价值。最后，本文总结了研究工作，指出了系统的不足之处，并对未来的改进方向进行了展望。

关键词： 疲劳驾驶；计算机视觉；YOLO；dlib；目标检测；面部特征点；Django

---

1. 引言

1.1 研究背景与意义

随着汽车工业的飞速发展和车辆保有量的急剧增加，道路交通安全问题日益严峻。据统计，相当一部分交通事故是由驾驶员的生理或心理状态异常引起的，其中，疲劳驾驶是导致重特大交通事故的主要诱因之一[文献1]。长时间驾驶、睡眠不足、单调的驾驶环境等因素都可能导致驾驶员生理和心理机能失调，出现注意力不集中、反应迟钝、判断力下降等疲劳现象。这种状态下的驾驶行为极易引发操作失误，造成无法挽回的生命财产损失。

传统的疲劳驾驶预防措施主要依赖于驾驶员的自我约束、法律法规的强制规定（如强制休息时间）以及一些简单的车载提示设备。然而，这些方法往往具有滞后性、主观性强、难以实时监控等缺点，无法从根本上杜绝疲劳驾驶的发生。

近年来，随着计算机视觉、人工智能和传感器技术的快速发展，通过技术手段实时监测驾驶员状态、主动预警疲劳驾驶成为了可能，并逐渐成为研究热点。开发一套能够实时、准确、非接触式地检测驾驶员疲劳状态并及时预警的系统，对于提高驾驶安全性、减少交通事故、保障人民生命财产安全具有极其重要的现实意义和应用价值。

1.2 国内外研究现状

目前，国内外在疲劳驾驶检测技术方面已经开展了广泛的研究，主要可以分为以下几类：

1. 基于驾驶员生理信号的检测方法： 通过传感器监测驾驶员的生理指标，如脑电波（EEG）、心电图（ECG）、眼电图（EOG）、肌电图（EMG）等。这类方法准确度较高，但通常需要佩戴传感器，存在侵入性，易受干扰，设备成本高，限制了其在实际驾驶环境中的广泛应用[文献2]。

2. 基于车辆行驶参数的检测方法： 通过分析车辆的行驶状态参数，如方向盘转角、车道偏离情况、车辆速度变化等来间接判断驾驶员的疲劳状态。这种方法无需接触驾驶员，但易受路况、天气、驾驶习惯等因素影响，检测的准确性和实时性有待提高[文献3]。

3. 基于计算机视觉的检测方法： 这是目前研究最为活跃且应用前景最广阔的方法。通过摄像头捕捉驾驶员的面部图像或视频，利用图像处理和模式识别技术分析驾驶员的面部特征（如眼睛状态、嘴巴状态、头部姿态）和行为特征（如打哈欠、点头、视线方向）来判断其疲劳程度。常见的指标包括PERCLOS（单位时间内眼睛闭合时间所占比例）、眼睛纵横比（EAR）、嘴巴纵横比（MAR）、头部姿态角等[文献4]。随着深度学习技术的发展，卷积神经网络（CNN）等模型在人脸检测、特征提取和状态识别方面展现出优越的性能，进一步提升了视觉检测方法的准确性和鲁棒性。YOLO、SSD等实时目标检测算法也被应用于检测驾驶员的面部以及打电话、抽烟等分心行为[文献5]。

尽管基于计算机视觉的方法取得了显著进展，但仍面临一些挑战，如光照变化、面部遮挡（眼镜、口罩）、头部姿态变化、个体差异等对检测效果的影响。如何提高检测算法在复杂实际驾驶环境下的鲁棒性和准确性，并实现低成本、高效能的系统部署，是当前研究需要解决的关键问题。

1.3 本文主要工作与贡献

针对现有疲劳驾驶检测方法存在的问题和挑战，本文旨在设计并实现一套基于YOLO与dlib技术的疲劳驾驶检测系统。主要工作和贡献如下：

1. 技术融合应用： 结合了dlib库在面部关键点定位上的高精度优势和YOLO算法在实时目标检测（尤其是驾驶员行为识别）上的高效性，实现了对驾驶员疲劳状态（闭眼、打哈欠）和不良驾驶行为（抽烟、打电话、喝水）的多维度检测。

2. 系统架构设计： 采用Django Web框架搭建系统后端，实现了B/S架构，用户可以通过浏览器方便地访问系统功能，包括实时摄像头检测、视频文件分析和历史数据查看。

3. 功能实现与优化： 实现了基于EAR和MAR算法的疲劳量化评估，结合YOLO检测结果进行综合判断。设计并实现了用户管理、数据存储、实时预警（包括声音提示）等功能，提高了系统的实用性。对算法参数（如EAR/MAR阈值、YOLO置信度阈值）提供了配置接口，方便根据实际情况进行调整。

4. 系统集成与测试： 将算法模型与Web系统进行集成，开发了完整的前后端应用。通过设计测试用例，对系统的功能、性能和稳定性进行了测试，验证了系统的可行性和有效性。

1.4 论文结构安排

本文的结构安排如下：

• 第一章：引言。介绍研究背景、意义、国内外研究现状、本文主要工作和论文结构。

• 第二章：相关技术介绍。详细介绍系统开发所涉及的关键技术，包括Python、Django、OpenCV、dlib、YOLO等。

• 第三章：系统分析。进行系统的需求分析（功能与非功能）和可行性分析（技术、经济、操作）。

• 第四章：系统设计。阐述系统的整体架构、功能模块划分、数据库设计和界面设计。

• 第五章：系统实现。详细描述开发环境配置、核心模块（疲劳检测、行为识别、Web后端等）的具体实现过程。

• 第六章：系统测试。介绍测试环境、测试用例设计、测试结果及分析。

• 第七章：结论。总结全文工作，指出系统存在的不足，并展望未来的研究方向。

---

2. 相关技术介绍

本系统的开发涉及多种先进的计算机技术，本章将对其中的关键技术进行介绍。

2.1 Python 编程语言

Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。凭借其简洁的语法、丰富的标准库和强大的第三方库生态系统（如NumPy, SciPy, Pandas, Matplotlib等），Python在科学计算、数据分析、人工智能、Web开发等领域得到了广泛应用[文献6]。在本系统中，Python作为主要的后端开发语言，用于实现业务逻辑、算法集成和服务器端功能。其丰富的库（如OpenCV, dlib, Ultralytics, Django）极大地简化了开发过程。

2.2 Django Web 框架

Django是一个基于Python的高级Web框架，遵循MVT（Model-View-Template）设计模式（一种MTV变体，常被视为MVC的一种实现）。它鼓励快速开发和简洁、实用的设计，并提供了强大的功能集，包括ORM（对象关系映射）、URL路由、模板引擎、表单处理、认证系统、管理后台等[文献7]。本系统采用Django作为后端框架，负责处理HTTP请求、管理数据库、调用视觉处理算法，并通过模板向前端传递数据，构建用户交互界面。其自带的管理后台也方便了对用户数据和检测结果的管理。

2.3 OpenCV 库

OpenCV (Open Source Computer Vision Library) 是一个开源的跨平台计算机视觉和机器学习软件库，包含了大量用于处理图像和视频的算法。它提供了包括图像读取/写入、图像变换、特征提取、目标检测、视频分析等在内的丰富功能[文献8]。在本系统中，OpenCV用于：

• 从摄像头或视频文件读取帧数据。

• 进行必要的图像预处理，如灰度转换、尺寸调整等。

• 配合dlib和YOLO进行人脸和目标检测。

• 在图像上绘制检测结果（如边界框、特征点、文本标签）以实现可视化。

• 处理视频流和帧数据。

2.4 dlib 库与面部特征点检测

dlib是一个包含机器学习算法和工具的现代C++工具包，同时也提供了Python接口。它在人脸检测和面部特征点（Facial Landmark）定位方面表现出色[文献9]。本系统主要利用dlib实现以下功能：

• 人脸检测： 使用dlib内置的基于HOG（Histogram of Oriented Gradients）特征和线性SVM的或者基于CNN的人脸检测器 (dlib.get_frontal_face_detector()) 来定位图像中的人脸区域。

• 面部特征点定位： 使用预训练的形状预测模型（如 shape_predictor_68_face_landmarks.dat）来精确定位人脸上的68个关键点，这些点勾勒出了眼睛、眉毛、鼻子、嘴巴和下巴的轮廓。

• 疲劳状态分析： 基于定位到的眼睛和嘴巴特征点，计算关键指标：

  • 眼睛纵横比 (Eye Aspect Ratio, EAR): EAR通过计算眼睛关键点之间的距离比值来量化眼睛的睁开程度。当眼睛闭合时，EAR值会显著下降。计算公式为： [ EAR = \frac{|p_2 - p_6| + |p_3 - p_5|}{2 |p_1 - p_4|} ] 其中 (p_1) 到 (p_6) 是眼睛周围的6个特征点。通过设定阈值（如EYE_AR_THRESH），可以判断驾驶员是否处于闭眼状态。连续多帧低于阈值则可判定为疲劳。

  • 嘴巴纵横比 (Mouth Aspect Ratio, MAR): MAR通过计算嘴巴关键点之间的距离比值来量化嘴巴的张开程度。当驾驶员打哈欠时，MAR值会显著增大。计算公式（一种可能的定义）为： [ MAR = \frac{|p{51} - p{59}| + |p{53} - p{57}|}{2 |p{49} - p{55}|} ] 其中 (p_i) 是嘴部轮廓上的特征点。通过设定阈值（如MOUTH_AR_THRESH），可以检测打哈欠行为。

2.5 YOLO 目标检测算法

YOLO (You Only Look Once) 是一种高效的实时目标检测算法，它将目标检测任务视为一个回归问题，直接从整个图像预测边界框和类别概率[文献10]。与两阶段检测器（如R-CNN系列）不同，YOLO采用单阶段检测流程，速度更快，非常适合需要实时处理的应用场景。本项目使用了基于YOLOv5或YOLOv8的实现（通过ultralytics库），该实现继承了YOLO系列速度快、精度高的优点，并进行了诸多改进。 在本系统中，YOLO用于检测：

• 人脸（Face）： 虽然dlib也检测人脸，但YOLO可以作为补充或在dlib失效时提供检测结果。

• 抽烟（Smoke）： 检测驾驶员手中是否有香烟或正在吸烟的动作。

• 打电话（Phone）： 检测驾驶员是否手持手机靠近耳边。

• 喝水（Water）： 检测驾驶员是否持有水瓶或杯子并靠近嘴部。

YOLO模型 (best.pt) 是使用包含上述类别的自定义数据集进行训练得到的，能够识别这些特定的驾驶相关行为或物体。YOLODetector类封装了模型加载、图像输入、目标检测和结果解析的功能。

2.6 前端技术 (HTML/CSS/JavaScript/Bootstrap)

系统的前端界面采用标准的Web技术构建：

• HTML (HyperText Markup Language): 定义网页的结构和内容。

• CSS (Cascading Style Sheets): 控制网页的样式和布局，使其美观。本项目使用了Bootstrap 5框架，它提供了预定义的CSS类和JavaScript组件，可以快速构建响应式、现代化的用户界面。

• JavaScript: 实现网页的动态交互逻辑。在本系统中，JavaScript用于：

  • 与后端进行通信（如使用AJAX/WebSocket发送摄像头帧数据，获取检测结果）。

  • 控制摄像头视频流的播放与捕获。

  • 在前端动态更新检测结果和警告信息。

  • 处理用户界面的事件（如按钮点击、文件上传）。

2.7 数据库技术

系统需要存储用户信息、检测会话记录、检测结果详情以及系统配置等数据。本项目在开发阶段使用了SQLite数据库。SQLite是一个轻量级的、基于文件的关系数据库管理系统，无需单独的服务器进程，配置简单，非常适合开发和小型应用[文献11]。对于生产环境，可以迁移到更强大的数据库系统，如MySQL或PostgreSQL。Django的ORM层使得数据库操作与具体的数据库类型解耦，方便迁移。

---

3. 系统分析

在系统设计与开发之前，进行详细的系统分析至关重要，它包括对系统功能、性能等方面的需求分析以及对开发该系统的可行性评估。

3.1 需求分析

需求分析旨在明确系统需要完成的任务、达到的目标以及满足的约束条件。本系统的需求主要分为功能需求和非功能需求两方面。

3.1.1 功能需求分析

功能需求描述了系统应该为用户提供哪些具体的功能。结合项目目标和README.md、views.py等文件分析，本系统的主要功能需求如下：

1. 用户管理功能：

   • 用户注册：允许新用户创建账户。

   • 用户登录/注销：提供安全的身份验证机制。

   • （可能）用户信息管理：允许用户修改个人信息（取决于accounts应用的具体实现）。

2. 实时疲劳/行为检测功能：

   • 摄像头访问：系统能够调用本地摄像头设备。

   • 实时视频流处理：连续捕获摄像头画面。

   • 实时人脸检测：检测画面中的驾驶员人脸。

   • 实时疲劳状态分析：基于dlib计算EAR、MAR，判断闭眼、打哈欠状态，评估疲劳等级。

   • 实时不良行为检测：基于YOLO检测抽烟、打电话、喝水等行为。

   • 结果可视化：在前端界面实时显示检测框、疲劳状态、行为标签。

   • 实时预警：当检测到疲劳达到预警阈值或出现不良行为时，发出声音或视觉警告。

3. 视频文件检测功能：

   • 视频上传：用户能够上传本地视频文件（如MP4, AVI格式）。

   • 视频处理：系统能够读取视频文件，逐帧或抽帧进行分析。

   • 疲劳/行为检测：对视频帧应用与实时检测相同的算法。

   • 结果存储：将视频检测的结果（如每帧的状态、行为）记录到数据库。

   • 结果展示：处理完成后，向用户展示视频分析报告或摘要。

4. 数据管理与统计分析功能：

   • 会话管理：记录每次检测（实时或视频）的起止时间、类型、用户等信息（DetectionSession模型）。

   • 结果记录：存储每一帧或每一次有效检测的具体结果，包括EAR/MAR值、疲劳等级、检测到的行为、时间戳、关联的会话ID等（DetectionResult模型）。

   • 历史记录查询：用户可以查看自己的历史检测会话列表。

   • 会话详情查看：展示某次检测会话的详细结果，可能包括统计图表。

   • 统计仪表盘（Dashboard）：汇总展示用户的总体检测统计数据，如总检测次数、各类行为次数、疲劳等级分布图等。

5. 系统配置功能：

   • 参数调整：允许管理员或用户调整检测算法的关键参数，如EAR阈值、MAR阈值、YOLO置信度阈值、疲劳预警等级、检测帧率/间隔、预警音量、是否启用语音提示等（SystemConfig模型）。

3.1.2 非功能需求分析

非功能需求关注系统的质量属性和约束条件，而非具体的功能实现。

1. 性能需求：

   • 实时性：实时检测模式下，系统处理单帧图像的时间应尽可能短，以保证流畅的视觉反馈和及时的预警（例如，达到10-15 FPS或更高）。

   • 准确性：疲劳状态判断和不良行为识别的准确率应达到可接受的水平，减少漏报和误报。

   • 资源占用：系统运行时对CPU、内存、GPU（如果使用）的占用应在合理范围内。

2. 可用性需求：

   • 易用性：用户界面应简洁直观，操作流程符合用户习惯，易于上手。

   • 反馈清晰：检测结果和警告信息应清晰明确地展示给用户。

3. 可靠性需求：

   • 稳定性：系统应能长时间稳定运行，不易崩溃。对异常情况（如摄像头无法打开、文件格式错误、模型加载失败）应有合理的处理机制。

4. 可维护性需求：

   • 代码结构清晰：代码组织应合理，模块化程度高，易于理解和修改。

   • 注释充分：关键代码段应有必要的注释说明。

   • 配置灵活：关键参数应可通过配置文件或数据库进行调整，而非硬编码。

5. 安全性需求：

   • 用户认证：对访问敏感数据和功能的操作进行身份验证。

   • 数据安全：保护用户上传的视频文件和检测数据的隐私。

6. 兼容性需求：

   • 平台兼容性：系统应能在主流操作系统（Windows, macOS, Linux）上运行。

   • 浏览器兼容性：前端界面应兼容主流现代浏览器（Chrome, Firefox, Edge等）。

3.2 可行性分析

可行性分析旨在评估开发目标系统在当前条件下是否可行，主要从技术、经济和操作三个方面进行。

3.2.1 技术可行性

• 算法成熟度： dlib库在面部特征点定位方面技术成熟、精度高，应用广泛。YOLO系列算法作为当前主流的实时目标检测算法，性能优异，且有ultralytics等高质量的开源实现和预训练模型可用。EAR、MAR等基于视觉的疲劳判断指标已有较多研究和应用基础。

• 开发工具与环境： Python语言拥有强大的生态支持，OpenCV、Django等库功能完善且文档齐全，开发效率高。开发环境搭建相对容易。

• 硬件要求： 系统运行需要摄像头设备。实时处理对计算资源有一定要求，尤其是在未使用GPU加速的情况下。但对于基本的疲劳和行为检测，现代个人计算机的CPU性能通常可以满足要求。如果需要更高帧率或处理高清视频，可能需要GPU支持，目前消费级GPU也可提供足够的算力。

• 技术难点与解决方案：

  • 复杂环境下的鲁棒性： 光照变化、面部遮挡等问题是视觉检测的固有挑战。可以通过图像增强技术、使用更鲁棒的模型（如训练时加入数据增强）、多传感器融合（本项目未涉及）等方式缓解。

  • 实时性保障： 可以通过优化代码、调整模型大小（如使用YOLO Nano版本）、抽帧处理、利用多线程或异步处理、启用GPU加速等手段提高处理速度。

  • 个体差异： 不同人脸型、眼睛大小可能影响EAR/MAR阈值的普适性。可以通过自适应阈值或引入更多特征进行判断。

  综合来看，利用现有成熟的开源技术栈，在技术上实现本系统是完全可行的。

3.2.2 经济可行性

• 软件成本： 系统主要依赖的Python、Django、OpenCV、dlib、Ultralytics等均为开源软件，无需支付许可费用，大大降低了软件成本。

• 硬件成本： 主要硬件成本在于开发和运行所需的计算机以及摄像头。对于大多数用户而言，这些都是现有设备。如果需要高性能GPU，会增加额外成本，但对于基本功能并非必需。

• 开发成本： 主要成本在于开发人员的时间投入。由于利用了成熟的框架和库，可以缩短开发周期，降低人力成本。

• 运行与维护成本： 系统运行消耗的电能和可能的服务器托管费用（如果部署到云端）相对较低。维护成本主要在于后续的功能更新和Bug修复。

  总体而言，该系统的开发和运行成本相对较低，具有良好的经济可行性。

3.2.3 操作可行性

• 用户界面： 系统采用Web界面，用户通过浏览器即可访问，无需安装复杂的客户端软件，操作便捷。界面设计遵循常规Web应用模式，学习成本低。

• 使用流程： 实时检测只需点击开始按钮，视频检测只需上传文件，流程简单明了。检测结果和统计数据直观展示。

• 用户接受度： 非接触式的检测方式不会对驾驶员造成干扰，更容易被接受。系统提供的安全预警功能符合用户对行车安全的需求。

• 部署与维护： 基于Django的Web应用部署流程相对标准化。数据库管理和系统配置可以通过Django Admin或自定义界面进行，便于维护。

  因此，系统在操作层面上也是可行的，用户能够方便地使用和管理系统。

综上所述，本疲劳驾驶检测系统在技术、经济和操作上均具有可行性，项目值得开发。

---

4. 系统设计

在系统分析的基础上，本章将对疲劳驾驶检测系统进行详细的设计，包括系统整体架构、各功能模块的设计、数据库结构设计以及用户界面设计。

4.1 系统架构设计

本系统采用经典的B/S (Browser/Server) 架构，结合MVT (Model-View-Template) 设计模式（Django实现）。该架构具有部署方便、维护简单、跨平台性好等优点。

系统整体架构如下图所示（Mermaid Block Diagram）：

服务器端 (Django Backend)

客户端 (Browser)

URL路由

HTTP请求处理

视图层 Views

业务逻辑

模型层 Models

数据库 ORM

数据库 SQLite/MySQL

视觉处理模块

dlib 检测器

YOLO 检测器

人脸/特征点检测

行为/物体检测

状态/行为分析

结果生成

模板层 Templates

HTML模板渲染

HTML/CSS/JS

用户界面

用户交互

摄像头/视频文件

数据请求/发送

架构说明：

1. 客户端 (浏览器)： 用户通过浏览器访问系统。前端负责展示用户界面（HTML/CSS/JS）、处理用户交互（按钮点击、文件上传）、访问本地摄像头获取视频流或选择本地视频文件，并通过HTTP(S)协议向服务器发送请求（如登录请求、帧数据、视频文件）和接收响应（如渲染后的HTML页面、JSON格式的检测结果）。

2. 服务器端 (Django Backend)：

   • HTTP请求处理/URL路由： Nginx/Gunicorn等Web服务器接收HTTP请求，转发给Django应用。Django的URL路由(urls.py)根据请求的URL将其分发到对应的视图函数。

   • 视图层 (Views)： views.py中的视图函数是核心业务逻辑的处理单元。它接收请求，调用模型层操作数据库，调用视觉处理模块进行分析，然后选择合适的模板进行渲染，或返回JSON数据。

   • 模型层 (Models)： models.py定义了数据模型（如User, DetectionSession, DetectionResult, SystemConfig），并负责通过Django ORM与数据库进行交互（增删改查）。

   • 模板层 (Templates)： 存放HTML模板文件。视图层将处理好的数据传递给模板，模板引擎负责将数据嵌入HTML，生成最终返回给浏览器的页面。

   • 视觉处理模块 (utils)： 封装了核心的计算机视觉算法。

     • DlibDetector：负责调用dlib库进行人脸检测、特征点定位，并计算EAR、MAR。

     • YOLODetector：负责调用ultralytics库加载YOLO模型，进行目标检测（人脸、抽烟、打电话、喝水）。

     • 状态/行为分析逻辑（可能在views.py或utils中）：整合dlib和YOLO的输出，根据预设规则和阈值判断疲劳等级和不良行为。

   • 数据库： 存储系统所需的数据，开发时使用SQLite，生产环境可替换为MySQL等。

4.2 功能模块设计

根据需求分析，系统主要包含以下功能模块：

功能模块结构图（Mermaid Use Case Diagram）：

疲劳驾驶检测系统

登录/注册

访问仪表盘

进行实时检测

上传视频分析

查看历史记录

配置系统参数 (管理员)

调用

调用

存储结果

读写用户信息

读写检测数据

读写配置

用户管理模块

用户

数据统计分析模块

实时检测模块

视频检测模块

系统配置模块

视觉处理与预警模块

数据库

各模块详细设计：

1. 用户管理模块 (accounts app):

   • 实现用户的注册、登录、注销功能。

   • 利用Django内置的认证系统(django.contrib.auth)进行安全管理。

   • 可能包含密码修改等功能。

2. 实时检测模块 (detection app, realtime_detection view):

   • 前端通过JavaScript getUserMedia API访问摄像头，将视频帧数据（如Base64编码）通过AJAX或WebSocket发送到后端特定接口（如 /ajax/process_frame/）。

   • 后端接口接收帧数据，解码为OpenCV图像格式。

   • 调用视觉处理模块分析图像。

   • 将检测结果（疲劳状态、行为、绘制了结果的图像数据）返回给前端。

   • 前端接收结果，更新界面显示（如绘制框、显示状态文本、更新图像）。

   • 后端根据检测结果判断是否触发预警条件，若触发，则在返回给前端的数据中包含预警信号。

   • 前端根据预警信号播放提示音或显示醒目警告。

   • 创建并管理DetectionSession和DetectionResult记录。

3. 视频检测模块 (detection app, video_detection view):

   • 提供文件上传接口，接收用户上传的视频文件。

   • 后端保存视频文件到服务器（如media/uploads/目录）。

   • 创建一个DetectionSession记录，状态为“处理中”。

   • 使用OpenCV逐帧读取视频。为提高效率，可采用抽帧策略（如每隔N帧处理一帧）。

   • 对选取的帧调用视觉处理模块进行分析。

   • 将每一帧的检测结果存入DetectionResult表，关联到对应的DetectionSession。

   • 处理完成后，更新DetectionSession状态为“已完成”或“失败”。

   • 提供结果展示页面（session_detail view），查询并展示该次视频检测的统计信息或关键帧结果。

4. 数据统计分析模块 (detection app, dashboard, history, session_detail views):

   • 仪表盘 (dashboard): 查询当前用户的所有检测结果，统计各类行为次数、疲劳等级分布等，汇总展示。可使用图表库（如Chart.js）进行可视化。

   • 历史记录 (history): 查询并分页展示当前用户的DetectionSession列表。

   • 会话详情 (session_detail): 根据会话ID查询对应的DetectionSession信息和所有关联的DetectionResult记录，详细展示检测过程的数据。

5. 视觉处理与预警模块 (detection/utils, views.py logic):

   • 核心处理流程: 接收图像 -> YOLODetector.detect() (获取人脸、行为) -> DlibDetector.detect_faces() & get_landmarks() (获取特征点) -> eye_aspect_ratio(), mouth_aspect_ratio() (计算EAR, MAR) -> 综合判断 (疲劳等级、是否打哈欠、结合YOLO结果) -> 生成结果字典。

   • 预警逻辑: 根据系统配置中的阈值（fatigue_alert_level等）和当前检测结果，判断是否需要预警。

   • 结果绘制: YOLODetector.draw_results(), DlibDetector.draw_landmarks() 可用于在图像上绘制边界框和特征点，用于前端展示。

6. 系统配置模块 (detection app, admin.py, potentially a dedicated view):

   • 利用Django Admin后台管理SystemConfig模型，方便管理员修改配置项。

   • 或者，可以开发一个专门的前端配置页面，供授权用户修改。

   • DlibDetector和YOLODetector在初始化时或处理前会加载这些配置。

4.3 数据库设计

数据库用于持久化存储系统数据。根据模型层的定义 (detection/models.py, accounts user model)，主要的数据库表结构设计如下（使用Mermaid ER Diagram表示实体关系）：

USERintidPK用户ID (主键)stringusername用户名stringpassword密码 (哈希)stringemail邮箱stringfirst_name名字stringlast_name姓氏boolis_staff是否为管理员boolis_active是否激活datetimedate_joined注册时间datetimelast_login上次登录时间DETECTION_SESSIONintidPK会话ID (主键)intuser_idFK用户ID (外键)stringsession_type会话类型 ('realtime', 'video')datetimestart_time开始时间datetimeend_time结束时间 (nullable)stringsource_file源文件路径 (视频模式, nullable)stringstatus状态 ('in_progress', 'completed', 'failed')stringresult_summary结果摘要 (nullable)DETECTION_RESULTintidPK结果ID (主键)intsession_idFK会话ID (外键)datetimetimestamp检测时间戳floateye_aspect_ratio眼睛纵横比 (nullable)boolyawn_detected是否检测到打哈欠intfatigue_level疲劳等级 (0-4)boolface_detected是否检测到人脸 (YOLO/dlib)boolsmoking_detected是否检测到抽烟 (YOLO)boolphone_detected是否检测到打电话 (YOLO)booldrinking_detected是否检测到喝水 (YOLO)stringframe_image_path帧图像路径 (可选, nullable)stringdetection_details检测详情 (JSON, nullable)SYSTEM_CONFIGintidPK配置ID (主键)stringconfig_keyUK配置键 (唯一)stringconfig_value配置值stringdescription描述 (nullable)创建包含影响 (隐式)影响 (隐式)

实体关系说明：

• USER: 存储用户信息，使用Django内置的User模型。一个用户可以创建多个检测会话。

• DETECTION_SESSION: 记录每一次检测任务的信息。关联到执行该任务的用户。

• DETECTION_RESULT: 记录单次检测（通常是一帧）的具体结果。关联到其所属的检测会话。一个会话包含多个结果记录。

• SYSTEM_CONFIG: 存储系统的可配置参数，如算法阈值、预警设置等。这些配置会影响检测会话和结果的产生过程（隐式关系）。

字段说明： 部分关键字段已在图中说明。nullable表示该字段可以为空。FK表示外键，PK表示主键，UK表示唯一键。

4.4 界面设计

用户界面是用户与系统交互的入口，其设计应注重简洁性、直观性和易用性。

1. 登录/注册页面： 标准的表单界面，包含用户名、密码输入框和提交按钮。

2. 仪表盘页面 (dashboard.html):

   • 顶部导航栏：包含系统Logo、导航链接（仪表盘、实时检测、视频检测、历史记录、退出登录等）。

   • 统计卡片区：以卡片形式醒目地展示关键统计数据（如总检测次数、疲劳次数、各类行为次数）。

   • 图表区：使用柱状图、饼图等展示疲劳等级分布、行为频率等。

   • 最近会话列表：简要展示最近几次的检测会话信息，并提供查看详情的链接。

3. 实时检测页面 (realtime.html):

   • 视频显示区：显示来自摄像头的实时画面，并在画面上叠加检测结果（边界框、状态文本）。

   • 控制按钮区：包含“开始检测”、“停止检测”按钮。

   • 状态显示区：实时文本显示当前的疲劳等级、EAR/MAR值、检测到的行为。

   • （可能）参数调整区：允许临时调整部分检测参数。

   • 预警提示区：在触发预警时，显示醒目的视觉提示（如闪烁的警告图标或文字），并播放声音。

4. 视频检测页面 (video_upload.html, session_detail.html):

   • 上传页面： 提供文件选择按钮，允许用户选择本地视频文件。可能包含选项让用户选择需要检测的内容（如仅疲劳、仅行为、或两者都检测）。

   • 详情页面： 显示视频的基本信息、处理状态。处理完成后，展示检测结果摘要（如总时长、检测到的事件次数）、关键帧图像及对应的检测结果、统计图表等。

5. 历史记录页面 (history.html):

   • 以列表形式展示用户的检测会话记录，包含会话ID、类型、起止时间、状态等。

   • 提供分页功能。

   • 提供搜索或筛选功能（可选）。

   • 每条记录提供“查看详情”的链接。

6. 系统配置页面 (可通过Django Admin或自定义页面):

   • 以表单形式列出所有可配置的参数及其当前值。

   • 允许管理员修改参数值并保存。

界面风格将使用Bootstrap 5框架提供的组件和样式，确保整体风格统一、简洁、专业，并具有良好的响应式布局，适应不同屏幕尺寸。

---

5. 系统实现

本章将详细阐述疲劳驾驶检测系统的具体实现过程，包括开发环境的搭建、核心功能模块的代码实现细节等。

5.1 开发环境搭建

系统的开发与运行依赖于特定的软硬件环境。

• 操作系统： Windows 10/11, macOS, 或 Linux 发行版 (如 Ubuntu)。本项目代码似乎在Windows环境下开发和测试过（根据python-3.8.10-amd64.exe和.whl文件名），但设计上应兼容其他系统。

• Python 版本： 3.8.10 (根据启动说明.md和提供的Python安装包)。建议使用虚拟环境（如 venv 或 conda）来管理项目依赖，避免包版本冲突。

  # 创建虚拟环境 (以 venv 为例)
  python -m venv venv
  # 激活虚拟环境
  # Windows:
  venv\Scripts\activate
  # macOS/Linux:
  source venv/bin/activate

• 核心依赖库安装： 根据 requirements.txt 文件安装必要的Python库。

  pip install -r requirements.txt
  # dlib可能需要特殊安装，项目提供了 .whl 文件
  pip install dlib-19.19.0-cp38-cp38-win_amd64.whl

  主要依赖包括：

  • Django: Web框架。

  • Pillow: 处理图像文件。

  • opencv-python: 图像和视频处理。

  • dlib: 人脸检测和特征点定位。

  • ultralytics: YOLO模型实现。

  • numpy, scipy: 科学计算。

  • torch, torchvision: 深度学习框架（YOLO依赖）。

  • matplotlib: 用于数据可视化（可能用于生成报告图表）。

• 模型权重文件：

  • YOLO模型权重：weights/best.pt。这是使用自定义数据集（包含人脸、抽烟、打电话、喝水类别）训练得到的模型文件。

  • dlib面部特征点预测器：weights/shape_predictor_68_face_landmarks.dat。需要从dlib官网下载或使用项目提供的文件。

• 数据库配置： 开发阶段使用Django默认的SQLite数据库 (db.sqlite3)。需要执行数据库迁移以创建数据表：

  python manage.py makemigrations
  python manage.py migrate

• 创建管理员用户： 用于登录Django Admin后台管理数据：

  python manage.py createsuperuser

• 启动开发服务器：

  python manage.py runserver 8001 # 或其他端口

  之后即可通过浏览器访问 http://127.0.0.1:8001/。

5.2 核心模块实现

下面将对系统关键功能的实现细节进行阐述。

5.2.1 dlib面部特征点检测与疲劳分析 (detection/utils/dlib_detector.py)

DlibDetector 类封装了与dlib相关的所有操作。

• 初始化 (__init__):

  • 加载dlib的人脸检测器 dlib.get_frontal_face_detector()。

  • 加载形状预测器 dlib.shape_predictor(predictor_path)，处理了模型文件不存在的异常。

  • 定义了左右眼、嘴巴特征点的索引范围。

  • 调用 load_config() 方法从数据库加载 EAR 和 MAR 的阈值。

• 加载配置 (load_config):

  • 从 SystemConfig 模型中查询 eye_ar_thresh 和 mouth_ar_thresh 的值。

  • 如果数据库中存在配置，则使用数据库中的值；否则使用默认值。处理了查询异常。

• 人脸检测 (detect_faces):

  • 将输入图像转为灰度图 cv2.cvtColor()。

  • 调用 self.detector(gray, 0) 检测人脸，返回人脸矩形列表。

• 特征点获取 (get_landmarks):

  • 输入图像和人脸矩形。

  • 调用 self.predictor(gray, rect) 获取68个特征点。

  • 将dlib的full_object_detection对象转换为NumPy数组 (68, 2)，方便后续计算。

• EAR计算 (eye_aspect_ratio):

  • 接收眼睛的特征点坐标。

  • 根据EAR公式，使用 scipy.spatial.distance.euclidean 计算点之间的欧氏距离，得到EAR值。

• MAR计算 (mouth_aspect_ratio):

  • 接收嘴巴的特征点坐标。

  • 根据MAR公式（具体实现依据所选点），计算得到MAR值。

• 疲劳检测 (detect_fatigue):

  • 这是核心的疲劳分析函数，输入图像，输出包含多项结果的字典。

  • 调用 detect_faces 检测人脸。

  • 如果检测到人脸且预测器加载成功：

    • 取第一个人脸进行处理（假设是驾驶员）。

    • 调用 get_landmarks 获取特征点。

    • 提取左右眼和嘴巴的特征点。

    • 调用 eye_aspect_ratio 计算左右眼EAR，取平均值。

    • 调用 mouth_aspect_ratio 计算MAR。

    • 根据EAR值与self.EYE_AR_THRESH的比较，判断眼睛闭合程度。

    • 根据MAR值与self.MOUTH_AR_THRESH的比较，判断是否打哈欠 (yawn_detected)。

    • 综合EAR和打哈欠情况，设定疲劳等级 (fatigue_level)，例如：

      • EAR < 阈值*0.8 (严重闭合): level 4

      • EAR < 阈值 (半闭): level 2 (不打哈欠) / level 3 (打哈欠)

      • EAR >= 阈值 (正常): level 0 (不打哈欠) / level 1 (打哈欠)

  • 处理了未检测到人脸或特征点提取失败的情况（例如尝试使用Haar级联检测器检测眼睛作为备用方案，或直接返回默认值）。

  • 确保返回结果中的数值类型为Python原生类型（如float(), int(), bool()），便于JSON序列化。

• 绘制特征点 (draw_landmarks):

  • 在输入图像上绘制68个特征点（小圆圈）和眼睛、嘴巴的轮廓（使用cv2.convexHull和cv2.drawContours），用于可视化。

5.2.2 YOLO目标检测与行为识别 (detection/utils/yolo_detector.py)

YOLODetector 类负责使用YOLO模型进行目标检测。

• 初始化 (__init__):

  • 加载YOLO模型 ultralytics.YOLO(weights_path)，使用 weights/best.pt。

  • 调用 load_config() 从数据库加载YOLO置信度阈值 (yolo_conf_thresh) 和运行设备 (device，如 'cpu' 或 'cuda:0')。

  • 应用加载的配置到模型实例（如 self.model.conf = self.conf_thresh）。

  • 尝试将模型移动到指定设备 (self.model.to(self.device))，处理可能的异常。

  • 定义类别名称列表 self.class_names = ['face', 'smoke', 'phone', 'water']，顺序需与训练模型时一致。

• 加载配置 (load_config):

  • 类似DlibDetector，从SystemConfig模型查询配置项，若无则使用默认值。

• 目标检测 (detect):

  • 接收OpenCV格式的图像。

  • 调用 self.model(image) 进行预测。

  • 返回 results[0]，即对单张输入图像的检测结果对象。

• 结果处理 (process_results):

  • 接收YOLO的原始检测结果对象。

  • 初始化一个包含各行为检测标志（布尔值）和详细检测列表的字典 processed_data。

  • 从结果对象中提取边界框信息 results.boxes.cpu().numpy()。

  • 遍历每个检测到的边界框 box：

    • 获取类别ID (box.cls[0])、置信度 (box.conf[0])、边界框坐标 (box.xyxy[0])。

    • 根据类别ID更新 processed_data 中的对应行为标志（如 cls_id == 1 时设置 smoking_detected = True）。

    • 将该检测的详细信息（类别ID、类别名称、置信度、边界框坐标）添加到 processed_data['detections'] 列表中。

  • 返回处理后的 processed_data 字典。

• 绘制结果 (draw_results):

  • 接收原始图像和 process_results 返回的字典。

  • 遍历 results['detections'] 列表。

  • 对每个检测结果，使用 cv2.rectangle 绘制边界框，使用 cv2.putText 绘制类别名称和置信度标签。

  • 为不同类别使用不同颜色，使可视化更清晰。

  • 返回绘制了结果的图像副本。

5.2.3 Web后端与前后端交互 (detection/views.py, urls.py, templates/detection/*.html)

• URL路由 (urls.py):

  • 定义URL模式，将不同的URL路径映射到views.py中相应的视图函数。例如：

    • /dashboard/ -> views.dashboard

    • /realtime/ -> views.realtime_detection

    • /ajax/process_frame/ -> views.process_frame_ajax (假设有此接口处理实时帧)

    • /video/upload/ -> views.video_detection

    • /session/<int:session_id>/ -> views.session_detail

• 视图函数 (views.py):

  • dashboard: 查询用户的统计数据和最近会话，传递给dashboard.html模板进行渲染。

  • realtime_detection: GET请求时，创建新的实时DetectionSession，加载系统配置，渲染realtime.html页面，并将session ID和配置参数传递给前端JavaScript。

  • process_frame_ajax (假设存在): 这是一个关键的后端接口，用于处理前端通过AJAX发送的实时摄像头帧数据。

    • 使用@csrf_exempt装饰器（如果前端未使用CSRF token）或正确处理CSRF。

    • 接收POST请求中的图像数据（如Base64字符串）。

    • 解码图像数据为OpenCV格式。

    • 实例化或调用全局的dlib_detector和yolo_detector。

    • 调用dlib_detector.detect_fatigue(frame)获取疲劳信息。

    • 调用yolo_detector.detect(frame)和yolo_detector.process_results()获取行为信息。

    • 整合dlib和YOLO的结果。

    • （可选）调用draw_results和draw_landmarks在帧上绘制结果，并将绘制后的图像编码（如Base64）用于前端显示。

    • 判断是否触发预警。

    • 创建DetectionResult记录并保存到数据库，关联到当前会话。

    • 将包含检测结果（状态、行为、疲劳等级）、预警信号、绘制后图像数据（可选）的JSON响应返回给前端。

  • video_detection: GET请求显示上传表单 (video_upload.html)。POST请求处理上传的视频文件：

    • 创建video类型的DetectionSession。

    • 使用cv2.VideoCapture打开视频。

    • 循环读取帧，按一定间隔（如frame_interval）选取帧。

    • 对选取的帧调用与process_frame_ajax类似的图像处理逻辑（调用dlib和YOLO检测器）。

    • 将每帧结果存入DetectionResult。

    • 更新会话状态，处理完成或失败后重定向到会话详情页。

    • 使用messages框架向用户显示处理结果信息。

  • session_detail: 根据传入的session_id，查询会话信息和所有相关的检测结果，传递给session_detail.html模板展示。

• 前端JavaScript (realtime.html内嵌或单独JS文件):

  • 获取摄像头权限 navigator.mediaDevices.getUserMedia()。

  • 将摄像头视频流绘制到<video>或<canvas>元素上。

  • 定时（如每隔detection_interval毫秒）从<canvas>捕获当前帧图像数据。

  • 将帧数据通过AJAX (如fetch API) POST到后端的 /ajax/process_frame/ 接口。

  • 在AJAX回调函数中接收后端返回的JSON结果。

  • 解析JSON数据，更新界面上的状态文本、图表等。

  • 如果后端返回了绘制后的图像数据，则更新视频显示区的图像。

  • 如果后端返回了预警信号，则播放对应的声音文件（使用HTML5 Audio对象）或显示视觉警告。

  • 处理“开始/停止检测”按钮的逻辑，控制定时器的启动和停止，以及AJAX请求的发送。

• 声音预警实现:

  • generate_sounds.py脚本可能用于预先生成不同类型的MP3格式警报音文件（如使用gTTS库），并存放在static/sounds/目录下。

  • 前端JavaScript根据后端返回的预警类型，选择对应的声音文件URL，创建Audio对象并调用.play()方法播放。需要注意浏览器可能存在的自动播放限制。

5.2.4 数据模型实现 (detection/models.py)

定义了与数据库表对应的Django模型类。

• SystemConfig: 存储键值对形式的系统配置。config_key应设为唯一。

• DetectionSession: 记录检测会话的元数据，包含指向User模型的外键user，以及会话类型、时间、状态等字段。

• DetectionResult: 记录单次检测结果，包含指向DetectionSession的外键session，以及时间戳、EAR/MAR值、疲劳等级、各类行为检测标志等字段。字段类型（FloatField, BooleanField, IntegerField, DateTimeField, ForeignKey等）的选择需与存储的数据匹配。null=True, blank=True用于允许字段为空。

通过运行makemigrations和migrate命令，Django会自动根据模型定义创建或更新数据库表结构。

---

6. 系统测试

系统测试是确保软件质量、验证系统是否满足需求的关键环节。本章将介绍测试环境、设计测试用例、执行测试并分析测试结果。

6.1 测试环境

• 硬件环境：

  • 处理器：Intel Core i5/i7 或同等 AMD 处理器

  • 内存：8GB RAM 或更高

  • 显卡：集成显卡 / NVIDIA GeForce GTX 1650 (用于测试GPU加速效果对比)

  • 摄像头：标准USB摄像头 (720p/1080p)

  • 硬盘：至少10GB可用空间

• 软件环境：

  • 操作系统：Windows 10

  • Python版本：3.8.10

  • 浏览器：Google Chrome 最新版, Firefox 最新版

  • 数据库：SQLite (开发默认)

  • 主要依赖库版本：与requirements.txt一致 (Django 4.2, OpenCV 4.7.0, dlib 19.19/19.24, ultralytics 8.0.0 等)

6.2 测试用例设计

测试用例旨在覆盖系统的主要功能和关键性能指标。以下是一些示例测试用例：

测试用例表 (Mermaid Table - 示例):

测试用例

结果: 成功登录，跳转到仪表盘

TC001: 用户登录

TC002: 用户名或密码错误登录

结果: 登录失败，提示错误信息

TC003: 启动实时检测

结果: 摄像头画面显示，状态更新，无错误

TC004: 实时检测 - 正常状态

结果: EAR/MAR在正常范围，疲劳等级0，无行为检出，无预警

TC005: 实时检测 - 模拟闭眼

结果: EAR显著下降，疲劳等级上升 (2-4)，触发疲劳预警

TC006: 实时检测 - 模拟打哈欠

结果: MAR显著上升，检测到'yawn_detected'，疲劳等级上升 (1或3)，触发疲劳预警

TC007: 实时检测 - 模拟打电话

结果: YOLO检测到'phone'，触发行为预警

TC008: 实时检测 - 模拟抽烟

结果: YOLO检测到'smoke'，触发行为预警

TC009: 实时检测 - 模拟喝水

结果: YOLO检测到'water'，触发行为预警

TC010: 实时检测 - 面部遮挡 (部分)

结果: 观察检测是否稳定，是否仍能检测疲劳/行为

TC011: 实时检测 - 不同光照条件

结果: 弱光/强光下测试检测性能

TC012: 停止实时检测

结果: 视频流停止，状态不再更新

TC013: 上传有效视频文件

结果: 上传成功，开始处理，最终状态'completed'

TC014: 上传无效文件格式

结果: 上传失败或处理失败，提示错误

TC015: 查看视频检测结果

结果: 显示正确的会话详情和检测统计

TC016: 查看仪表盘

结果: 显示正确的统计数据和图表

TC017: 查看历史记录

结果: 显示正确的会话列表，分页正常

TC018: 修改系统配置 (Admin)

结果: 配置成功保存，检测行为受新配置影响

TC019: 并发用户访问 (模拟)

结果: 系统响应正常，无明显卡顿

TC020: 长时间运行实时检测

结果: 系统稳定，无内存泄漏或崩溃

详细测试用例描述 (部分示例):

• TC001: 用户登录

  • 前提: 已存在注册用户 (如 admin)。

  • 步骤: 1. 打开登录页面。 2. 输入正确的用户名和密码。 3. 点击登录按钮。

  • 预期结果: 成功登录，页面跳转到用户仪表盘 (/dashboard/)。

• TC005: 实时检测 - 模拟闭眼

  • 前提: 用户已登录，已启动实时检测。

  • 步骤: 1. 保持面部正对摄像头。 2. 故意闭上眼睛并保持数秒。

  • 预期结果: 界面显示的EAR值显著低于预设阈值 (EYE_AR_THRESH)。疲劳等级 (fatigue_level) 上升到 2, 3 或 4。触发相应的疲劳声音和/或视觉预警。数据库中记录的DetectionResult反映此状态。

• TC007: 实时检测 - 模拟打电话

  • 前提: 用户已登录，已启动实时检测。

  • 步骤: 1. 拿起手机放到耳边，模拟打电话姿势。

  • 预期结果: YOLO检测器在界面上绘制出“phone”的边界框和标签。状态显示区提示检测到打电话行为。触发打电话行为的声音和/或视觉预警。数据库中记录的DetectionResult中phone_detected为True。

• TC013: 上传有效视频文件

  • 前提: 用户已登录。

  • 步骤: 1. 进入视频检测页面。 2. 点击上传按钮，选择一个包含驾驶场景的MP4格式视频文件。 3. 点击开始处理按钮。

  • 预期结果: 文件上传成功。页面提示处理中。等待一段时间后，页面提示处理完成，并自动跳转到该视频的会话详情页面，或提供查看链接。数据库中创建了对应的DetectionSession记录，状态最终为completed，并包含多条DetectionResult记录。

• TC018: 修改系统配置 (Admin)

  • 前提: 使用管理员账号登录Django Admin后台 (/admin/)。

  • 步骤: 1. 导航到Detection -> System configs。 2. 选择eye_ar_thresh配置项。 3. 将其值修改为一个不同的有效数值（如从0.25改为0.30）。 4. 保存更改。 5. 重新进行实时检测，模拟闭眼。

  • 预期结果: 配置成功保存。后续实时检测中，判断眼睛闭合的阈值变为0.30，预警触发的时机相应改变。

6.3 测试结果与分析

在执行上述测试用例后，得到以下结果（假设）：

• 功能性测试：

  • 用户管理、实时检测启动/停止、视频上传、历史记录查看、仪表盘显示等基本功能均按预期工作。

  • 疲劳状态检测：

    • 正常睁眼状态下，EAR值稳定在阈值以上，疲劳等级为0。

    • 模拟快速眨眼，EAR值短暂下降但通常不触发持续预警（符合预期）。

    • 模拟持续闭眼（>2秒），EAR值显著低于阈值，疲劳等级上升至3或4，能稳定触发预警。

    • 模拟打哈欠，MAR值显著高于阈值，能检测到yawn_detected，疲劳等级上升至1或3，能触发预警。

    • 分析： 基于EAR和MAR的疲劳检测方法对明显的闭眼和打哈欠动作有效。阈值的设定对结果影响较大，需要根据实际情况调整。

  • 不良行为检测：

    • 在光线良好、无遮挡情况下，模拟打电话、抽烟、喝水动作，YOLO能够较准确地检测到相应物体/行为，并触发预警。检测框位置基本准确。

    • 分析： YOLO模型对训练过的特定行为具有良好的识别能力。但在姿态变化较大、物体被部分遮挡或光照不足时，检测效果会下降，可能出现漏检或误检。YOLO置信度阈值 (yolo_conf_thresh) 的设置是准确率和召回率之间的权衡。

  • 系统配置：通过Admin后台修改参数后，检测逻辑确实受到新参数的影响，配置功能有效。

• 非功能性测试：

  • 实时性： 在测试机（i5处理器，无独立GPU）上，实时检测处理单帧图像的时间大约在 80-150ms 之间，基本能达到 7-12 FPS，满足基本的实时反馈要求。使用GPU（GTX 1650）时，处理时间缩短至 30-50ms，帧率可达 20-30 FPS，体验更流畅。

  • 准确性（定性评估）： 如上所述，对标准、明显的疲劳/行为动作检测效果较好。在复杂场景下（如侧脸、戴眼镜/口罩、光线剧烈变化）准确性有待提高。

  • 稳定性： 长时间（如连续运行1小时）实时检测未出现崩溃或明显内存泄漏。视频处理对内存消耗较大，处理非常长的视频可能需要优化。

  • 兼容性： 在Chrome和Firefox浏览器下测试，界面显示和功能运行正常。

  • 资源占用： CPU模式下，Python进程CPU占用率在30%-70%之间波动。内存占用稳定在几百MB到1GB左右（取决于处理复杂度）。GPU模式下，CPU占用率降低，GPU利用率上升。

结果分析总结：

该系统成功实现了设计目标，能够有效检测驾驶员的疲劳状态和特定不良行为，并提供实时预警。核心算法（dlib特征点检测、EAR/MAR计算、YOLO目标检测）在系统中得到了正确应用。系统架构合理，功能模块划分清晰，Web界面操作便捷。

存在的问题与不足：

1. 环境适应性： 对光照变化、面部部分遮挡（如戴口罩、墨镜）、头部姿态大角度偏转等复杂情况的鲁棒性有待提升。

2. 个体差异： EAR/MAR阈值对个体差异敏感，固定阈值可能不适用于所有用户。

3. 行为识别局限： YOLO模型只能识别训练时包含的特定行为，对于其他类型的分心行为无法检测。模型精度也受训练数据质量和数量的影响。

4. 实时性优化空间： 在低配硬件（无GPU）上，处理帧率有待提高，可能影响预警的及时性。

5. 视频处理效率： 对于长视频，逐帧处理（即使抽帧）也可能耗时较长，需要考虑更高效的处理策略或后台任务队列。

---

7. 结论

本文围绕疲劳驾驶这一严重的交通安全问题，设计并实现了一套基于计算机视觉技术的疲劳驾驶检测系统。系统利用dlib库精确提取驾驶员面部特征点，通过计算眼睛纵横比（EAR）和嘴巴纵横比（MAR）来量化评估驾驶员的疲劳状态（闭眼、打哈欠）。同时，系统集成了YOLO目标检测算法，用于识别驾驶员的分心驾驶行为，如抽烟、打电话、喝水等。整个系统基于Python语言和Django Web框架开发，采用B/S架构，提供了用户管理、实时摄像头检测、视频文件分析、历史数据统计与查询、系统参数配置等功能，并通过Web界面进行交互和结果展示，在检测到危险状态时能够发出预警。

在系统实现过程中，本文详细阐述了dlib和YOLO算法在本系统中的具体应用和关键代码实现。通过系统测试，验证了各项功能的有效性，结果表明该系统能够对典型的疲劳特征和不良行为进行有效检测，实时性和稳定性基本满足要求，达到了预期的设计目标。该系统为预防因疲劳或分心驾驶引发的交通事故提供了一种实用的技术解决方案。

然而，本系统仍存在一些局限性和可改进之处：

1. 算法鲁棒性提升： 未来的工作可以研究更先进的图像预处理技术（如光照归一化）、更鲁棒的人脸检测与特征点定位算法（如在遮挡、大姿态下的优化），或者引入注意力机制、循环神经网络（RNN/LSTM）来分析面部特征的时间序列信息，以提高在复杂驾驶环境下的检测精度和稳定性。

2. 自适应阈值： 可以研究根据驾驶员个体特征（如基线EAR值）自动校准阈值的方法，或者采用机器学习模型直接从特征点数据或其他特征预测疲劳状态，减少对固定阈值的依赖。

3. 扩展行为识别： 可以通过收集更多类型的分心驾驶行为数据（如操作中控屏、与乘客过度交谈等）来重新训练YOLO模型或引入其他行为识别算法，扩展系统的检测范围。

4. 性能优化： 进一步优化算法实现，利用模型剪枝、量化、知识蒸馏等技术减小模型体积、提升推理速度。在视频处理方面，可以引入后台任务队列（如Celery）进行异步处理，提高用户体验。

5. 多模态融合： 考虑融合其他信息源，如车辆行驶数据（方向盘活动、车道偏离）、声音信息（如语音内容分析），构建多模态的驾驶员状态监测系统，以获得更全面、更可靠的判断结果。

总之，本文完成的基于YOLO与dlib的疲劳驾驶检测系统是一个有益的尝试，验证了结合这两种技术进行驾驶员状态监控的可行性。未来的研究可以在此基础上，针对实际应用中的挑战进行深入优化和扩展，使其更加智能、可靠，为提升道路交通安全做出更大贡献。

---

参考文献

[文献1] [此处填写关于疲劳驾驶危害或统计数据的文献] [文献2] [此处填写关于基于生理信号检测方法的文献] [文献3] [此处填写关于基于车辆参数检测方法的文献] [文献4] [此处填写关于基于计算机视觉（如PERCLOS, EAR, MAR）检测方法的文献] [文献5] [此处填写关于使用深度学习（CNN, YOLO等）进行疲劳或行为检测的文献] [文献6] [此处填写关于Python语言的文献或官方文档] [文献7] [此处填写关于Django框架的文献或官方文档] [文献8] [此处填写关于OpenCV库的文献或官方文档] [文献9] [此处填写关于dlib库的文献或官方文档] [文献10] [此处填写关于YOLO算法的原始论文或重要改进版本的文献] [文献11] [此处填写关于SQLite数据库的文献或官方文档]