MATLAB疲劳驾驶检测

MATLAB疲劳驾驶检测

摘要：本案例将使用开源项目中的Face Detect与Face Mesh两个模型，实现一个简单的疲劳驾驶检测应用并提醒。

本案例将使用开源项目中的Face Detect与Face Mesh两个模型，实现一个简单的疲劳驾驶检测应用并提醒，最终效果如下所示：

案例所需资源（代码、模型、测试数据等）均可从obs桶下载。

开发背景

“道路千万条，安全第一条”，交通安全是我们出行首要关注的问题，而疲劳驾驶一直是引发交通事故的一个主要原因。

在AI算法惠及生活的现在，我们想利用ModelBox开发板快速实现、便利调试开发的特点，实现一个疲劳驾驶提醒应用案例demo，实现基本的疲劳驾驶检测与辅助提醒效果。希望大家能从此案例得到启发与参考，开发出更多丰富、有趣的应用。

算法原理

该项目主要原理为：通过面部检测模块定位出面部区域，将其输入到面部关键点模块检测出面部关键点，并对其中的眼睛、嘴巴等关键点计算其EAR值与时长判断其是否处于疲劳状态并进行提醒。

从摄像头检测出面部区域

从面部检测出关键点

通过公式计算出EAR值，并根据实时滑动窗口计算占比，超过阈值则判断为疲劳应该对其进行提醒

ModelBox介绍

ModelBox是一个适用于端边云场景的AI推理应用开发框架，提供了基于Pipeline的并行执行流程，能帮助AI应用开发者较快的开发出高效，高性能，以及支持软硬协同优化的AI应用。

易于开发

AI推理业务可视化编排开发，功能模块化，丰富组件库；c++，python多语言支持。

易于集成

集成云上对接的组件，云上对接更容易。

高性能，高可靠

pipeline并发运行，数据计算智能调度，资源管理调度精细化，业务运行更高效。

软硬件异构

CPU，GPU，NPU多异构硬件支持，资源利用更便捷高效。

全场景

视频，语音，文本，NLP全场景，专为服务化定制，云上集成更容易，端边云数据无缝交换。

易于维护

服务运行状态可视化，应用，组件性能实时监控，优化更容易。

模型训练

我们可以使用面向开发者的一站式AI开发平台ModelArts进行模型的训练:

ModelArts提供了包括数据标注，训练环境，预置算法在内的丰富的功能，甚至可以通过订阅预置算法实现零代码的模型训练工作。当然你也可以在本地训练自己的模型。我们假设你现在已经拥有了训练好的模型，接下来我们需要将训练好的模型转换成为可以在开发板上运行的模型。本案例可以直接用预训练好的模型进行初期应用的搭建即可。

模型转换

我们发布了开发板模型转换案例，参见RK3568模型转换验证案例 :

在这个案例中我们演示了从环境适配到模型的转换验证的全流程样例代码，开发者可以通过“Run in ModelArts”一键将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。

开发环境部署

使用开发板进行ModelBox AI应用开发有两种方式，一是开发板连接显示器和键盘鼠标，安装Ubuntu桌面，直接在开发板上进行开发；二是使用远程连接工具（如VS Code中的Remote-SSH）从PC端登录开发板进行开发。这里我们推荐第二种方式，因为PC端可以使用功能更丰富、界面更友好的IDE。
请参考此案例的开发环境部署先进行环境搭建：

应用开发

接下来我们会以疲劳驾驶检测demo为例，介绍如何使用ModelBox开发AI应用。

1.创建工程

SDK提供了工程脚本create.py，可以使用./create.py -h查看脚本帮助：

rock@rock-3a:~/yourpath/v1.0.8.21$ sudo ./create.py -h

Usage: Create ModelBox project and flowunit

NOTE : you must firstly use bellow cmd to create a project in workspace

    create.py -t server -n your_proj_name {option: -s name, create this project from a solution}, support hilens deployment

 or create.py -t project -n your_proj_name {option: -s name, create this project from a solution}, generally not use