计算机视觉辅助系统价格,驾驶辅助系统计算机视觉技术

前言

当前，汽车工业正经历着三个重大变革：内燃机被电动机取代，车-车、车-基础设施通信一体化，以及自动驾驶的兴起。后者仍处于期望驾驶员始终控制车辆的阶段，但是所提供的车辆自动控制功能已经在很大程度上提升了安全性和驾驶员舒适度。在面对当前自动驾驶的发展时，我们更倾向于谈论驾驶员辅助系统。车辆的驾驶员辅助功能大多基于各种传感器提供的数据，如雷达、LIDAR、超声波、GPS、惯性测量单元(IMU)或摄像机。在本书中，我们将讨论摄像机在驾驶员辅助系统方面的应用。

基于计算机视觉的驾驶员辅助是一个在汽车工业和学术界新兴的技术。尽管现在已经存在一些商业应用的安全系统，如夜视、自适应巡航控制和车道偏离警告系统，但我们仍处于开发下一代智能汽车的漫长研究道路的起点。

任何高级驾驶员辅助系统(ADAS)的开发人员都关注的主要问题是：在真实驾驶场景中往往有着恶劣的照明条件，同时还需要监控驾驶员的状态和道路危险，确保系统实时响应，以及严格遵守法律的要求。

本书回顾了过去十年来的相关研究以及该领域的最新进展，提出了各种计算机视觉算法、技术和方法来解决上述问题与挑战。这些主要适用于解决单目视觉问题。

移动设备(如移动电话或小型计算设备)通常会配备一个或多个摄像机。 如果它们还带有立体摄像机，则通常具有较小的基线(即两个摄像机之间的距离)，该基线支持立体可视化，但不支持精确的立体图像分析。作为汽车的常见附加组件，用于驾驶员监控或交通观察的专用处理单元也将从单目视觉解决方案中受益。然而，我们对单目视觉的关注并不排除将所提供的解决方案集成到多传感器环境中的可能性，也可能通过使用立体视觉、激光测距仪、雷达、超声波、GPS、惯性测量单元或其他传感器来收集数据。

单目视觉的讨论也是具有学术意义的，它回答了“只用一只眼睛”可以充分解决哪些任务的问题，这本身就是一个重要的研究课题。

本书包括三方面内容，第一方面侧重于监视驾驶员的状态，包括分类、检测和跟踪驾驶员的面部特征，即眼睛状态、头部姿态、打哈欠和点头等。第二方面通过引入用于车辆检测和距离估计的新颖算法，主要为道路感知和道路危险监视方法做出了贡献。第三方面，我们同时分析了驾驶员的注意力(车内数据)和道路危险(车外数据)。我们在两个数据源上都应用了一种数据融合方法，以衡量驾驶状况的总体风险、预防或避免即将发生的交通事故，并及时有效地协助注意力不集中的驾驶员。

对于我们讨论的每一部分，我们都展示和分析真实场景的试验结果，并通过对广泛数据集的基准测试加以支持。

本书由八章组成，每一章都有一个主要目标。所有章节都遵循独特的结构，首先是引言和相关工作的概述，然后是提出的技术或方法，最后将提出的方法与常见的现有技术进行比较，并讨论基于经验、分析或试验结果的新颖性和改进。本书的简要内容如下:

第1章：基于视觉的驾驶员辅助系统

本章概述了在汽车中摄像头工作时要解决的任务。

第2章：驾驶员环境理解

本章对第1章所述的一般任务进行了细化，具体阐述了驾驶员监控与道路环境之间的交互。本章还回顾了其他已发表的相关工作。

第3章：计算机视觉基础

本章简要介绍了常见的计算机视觉概念(理论和数学概念)，这些概念与本书后面的章节相关。本章给出了一些图像符号，包括积分图像、颜色转换、直线检测(Hough空间)、摄像机坐标和立体视觉分析。

第4章：目标检测、分类与跟踪

本章提供分类和机器学习的基础知识。首先介绍了目标检测的基本概念，然后讨论了有监督分类技术和无监督分类技术，最后简要介绍了目标跟踪。这些知识是与本章之后章节相关的内容。

第5章：驾驶员疲劳检测

本章分析了常见的面部检测器(如LBP和哈尔检测器)的优缺点以及它们在驾驶员辅助系统(DAS)应用中的适用性，讨论了驾驶环境下面部检测失败的原因，并提出了改进措施。本章最重要的部分是引入一个自适应全局和动态全局哈尔特征分类器，作为对标准Viola-Jones检测器在“训练”和“应用”两个阶段的显著改进。本章还提供了一个基于卡尔曼滤波的跟踪方案，可以成功地跟踪驾驶员的睡意状态，特别是在夜间，在明亮的路灯、较强的阴影、强烈的背光和部分遮挡的场景下进行睁眼和闭眼检测。

第6章：驾驶员注意力分散检测

.　　根据前一章检测到的初始面部特征，本章继续介绍利用鲁棒技术来检测驾驶员的注意力分散。本章的主要目的是实现6D头部姿态估计，包括t时刻头部的转动、倾斜、俯仰，以及具体的头部位置(x, y)。通过精确的姿态检测以及第5章中讨论的眼睛状态检测，我们能够评估驾驶员的疲劳或注意力分散程度。

第7章：车辆检测与距离估计

本章介绍了一个基于AGHaar的车辆检测器，它采用了多特征分析和Dempster-Shafer融合。本章提供了足够的试验来保证车辆检测算法在不同天气和挑战条件下的鲁棒性。

第8章：避免碰撞的模糊融合

本章介绍了根据从第5~7章获得的在线数据(即驾驶员的状态、道路上检测到的车辆以及自车与前车的距离和相对角度)为驾驶的每一时刻定义风险。

在模糊融合平台中，我们将车内数据与道路外危险数据关联起来，并根据8个输入参数识别潜在碰撞驾驶条件的风险水平：头部转动、倾斜、俯仰(驾驶员的注意力方向)，驾驶员眼睛状态(眼睛的开合)，打哈欠，点头，自车与前车的距离和相对角度。

本书还简要讨论了立体视觉对驾驶员的辅助作用，但重点还是单目视觉数据的分析。我们并未全面介绍依靠单目视觉可能解决的所有任务，如还存在交通标志识别、车道检测和运动分析(如光流计算)，这些是仅使用单目视觉就能取得实质性进展的领域。通过讨论驾驶员监控和交通监控的实例，我们提出了所需的基本内容，说明了将车内数据和车外数据的分析结合起来的重要作用。

作者感谢环境感知和驾驶员辅助项目的同事、访问者和学生的合作。该项目最初在奥克兰大学，现在在奥克兰理工大学。我们特别感谢Zahra Moayed和Noor Saleem提供了关于KLT跟踪器的相关文献。