【文献阅读】2018-2022年 驾驶员分心行为识别或检测

驾驶员分心识别 Driver Distraction Recognition/Detection 论文阅读

综述：

Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021)）

（https://www.sciencedirect.com/science/article/pii/S0952197622003517?ref=pdf_download&fr=RR-2&rr=825e31b8eb94227f）
本文旨在全面回顾通过各种方法检测驾驶分心的方法。我们回顾了 2014 年至 2021 年的所有最新论文，并根据使用的传感器对它们进行了分类。基于所审查的文章，提出了一个简化的检测流程可视化框架，从使用的传感器、收集的数据、测量数据、计算事件、推断的行为开始，最后是其推断的分心类型。除了对各种已发表的著作进行深入回顾和简明总结外， 还讨论了驾驶员分心检测对提高车辆自动化的实用性和相关性。此外，还提出了一些开放性研究挑战，并为未来的研究方向提供了建议。我们相信，尽管车辆自动化正在向更高水平的发展，但这次审查仍然会有所帮助。



总结：从不同传感器、算法等角度对驾驶员分心行为识别的研究进行回顾，挺全的一篇论文，在每个任务下多方面的去对比现有的算法，研究不同方向的大家看对应章节即可。

在AUC-DDD和SD3数据集上测试的工作

1. Detection of Distracted Driver Using Convolutional Neural Network 2018 CVPR workshop

（https://ieeexplore.ieee.org/document/8575304）
通过数据增强，修改VGG-16架构和各种正则化技术来提高性能。在GPU上每秒可处理 42 幅图像。还研究了dropout、L2 正则化和batch normalisation对系统性能的影响。介绍了改进版的架构，其分类准确率达到 95.54%，参数数量从原始 VGG-16 的 140M 减少到仅 15M。

总结：创新点是对网络框架的修改，把原始VGG的全连接层（最后三层）替换为1*1的卷积层；给每层加入L2正则和BN；从第三次最大池化开始加入线性增长的dropout。

2. Towards Computationally Efficient and Realtime Distracted Driver Detection With MobileVGG Network 2020 TIV（IEEE Transactions on Intelligent Vehicles）

专注于开发计算高效的 CNN，同时保持良好的准确性。提出了一种基于深度可分离卷积的新架构，名为 mobileVGG。提出的移动 VGG 架构只需 2.2M 参数，在 AUC 和 Statefarm 数据集上分别达到了 95.24% 和 99.75% 的准确率。


总结：创新点还是网络框架的修改，通过引入深度可分离卷积减小模型参数量

3. Benchmarking Deep Learning Models for Driver Distraction Detection 2021 LOD International Conference on Machine Learning, Optimization, and Data Science

在开罗美国大学（AUC）分心驾驶数据集上使用平均交叉熵损失、准确率、F1 分数和训练时间对 10 种最先进的 CNN 和 RNN 方法进行了评估，该数据集是迄今为止有关驾驶员分心的最全面、最详细的数据集。结果表明，预训练的 InceptionV3 CNN 与堆叠双向长短期记忆相结合，其平均损失和 F1 分数分别为 0.292 和 93.1%，优于最先进的 CNN 和 RNN 模型。


总结：对比了很多算法

4. Driver action recognition using deformable and dilated faster R-CNN with optimized region proposals 2019 Applied Intelligence

（https://link.springer.com/article/10.1007/s10489-019-01603-4）
基于对线索（如握烟的手）揭示驾驶员在做什么的观察，提出了一种驾驶员动作识别模型，该模型称为可变形和扩张的更快R-CNN（DD-RCNN）。利用对特定运动对象的检测来对表现出巨大类别内差异和类别间相似性的驾驶员动作进行分类。首先，设计了可变形和扩张的残余块，以提取小尺寸和不规则形状的动作特异性RoI特征（如香烟和手机）。注意力模块嵌入到修改后的 ResNet 中，以在通道和空间维度上重新加权特征。然后，提出区域建议优化网络（RPON），以减少进入R-CNN的RoI数量，提高模型效率。最后，将RoI池化模块替换为可变形模块，训练无回归层的简化R-CNN作为最终分类器。实验表明，DD-RCNN在Kaggle驱动数据集和自建数据集上都取得了较好的结果。




总结：通过提取运动区域作为关注的动作区域，以区分相似动作

5. A Hybrid Deep Learning Approach for Driver Distraction Detection 2020 International Conference on Information and Communication Technology Convergence (ICTC)

（https://ieeexplore.ieee.org/abstract/document/9289588）
然而，解决图像光谱和空间特征以分散注意力的方法很少。使空间特征捕获图像内的空间信息，而光谱特征捕获图像通道之间的光谱相关性。首先，我们使用预先训练的CNN自动学习空间姿态特征。随后，我们利用BiLSTMs架构从预训练的CNN中提取堆叠特征图中的光谱特征。我们提出的方法在开罗美国大学（AUC）分心驾驶员数据集上进行了评估，这是迄今为止关于驾驶员分心姿势的最全面和最详细的数据集。结果表明，我们的方法以92.7%的平均分类准确率击败了最先进的CNN模型。

然而，由于与其他姿势的空间相似性，一些分心仍然很难分类。只有通过分析其光谱特征才能准确检测这种姿势，从而提供有关图像的附加信息。

总结：通过处理空间和光谱两方面特征提高分类准确率

6. A Data Augmentation Approach to Distracted Driving Detection 2021 Future Internet

（https://www.mdpi.com/1999-5903/13/1/1）
首先，利用类激活映射方法展示驾驶行为分析的关键特征区域，然后通过较快的R-CNN检测模型对驾驶操作区域进行检测，进行数据增强。最后，实现并评估卷积神经网络分类模式，对原始数据集和驾驶作业区域数据集进行检测。使用分心驾驶数据集，分类结果达到了96.97%的准确率。结果表明，在预处理阶段进行驱动操作区域提取的必要性，可以有效去除图像中的冗余信息，从而获得更高的分类准确率。该研究方法可用于实际应用场景中的驾驶员检测，识别危险驾驶行为，有助于对不安全驾驶行为进行预警，避免事故发生。

总结：缺点：重新标注了数据，增加工作量（从AUC数据集中随机抽取2000张图像，使用“labelImg”软件工具对驾驶作业区域进行重新标注。标签区域包括方向盘和驾驶员的上半身，包括头部、躯干和手臂。）不同点：采集了自己的广角数据集。（为了进一步验证所提方法的泛化能力，收集了 2200 张广角分心驾驶数据集进行验证。参考State Farm数据集和AUC数据集的采集方法，我们将摄像头固定在前排乘客座椅顶部的车顶把手上。14名志愿者坐在车里，按照白天和夜间场景的要求模拟分心驾驶。）

7. Optimally-Weighted Image-Pose Approach (OWIPA) for Distracted Driver Detection and Classification 2021 Sensors

（https://www.mdpi.com/1424-8220/21/14/4837）
然而，通过姿态估计检测分心驾驶员的研究很少。这项工作引入了一个ResNets集合，它被命名为最佳加权图像-姿态方法（OWIPA），通过原始图像和姿态估计图像对分心进行分类。姿态估计图像由HRNet和ResNet生成。我们使用 ResNet101 和 ResNet50 分别对原始图像和姿态估计图像进行分类。通过网格搜索方法确定最优权重，并通过该参数对两个模型的预测进行加权。实验结果表明，所提方法在AUC分心驾驶员数据集上的准确率达到94.28%。
第一个 ResNet 模型用于根据原始图像进行分类，用于对缩放图像进行分类的ResNet是ResNet101；第二个 ResNet 用于对人体姿态估计图像进行分类。身体姿态估计是通过HRNet完成的[39]。原始图像也通过[40]中提出的ResNet进行手部姿态估计。完成身体姿势和手部姿势估计后，将结果相加形成具有黑色背景的完整姿势图像。然后使用预先训练的 ResNet50 对完整姿势图像进行分类。




总结：将姿态估计和原始图像用双流网络结合来识别动作

8. A Computer Vision-Based Approach for Driver Distraction Recognition using Deep Learning and Genetic Algorithm Based Ensemble 2021 20th International Conference on Artificial Intelligence and Soft Computing (ICAISC)

（https://arxiv.org/abs/2107.13355）
我们目前的研究旨在通过提高驾驶员分心分类问题的性能来帮助现有的驾驶员姿势识别技术。我们提出了一种使用基于遗传算法的六种独立深度神经架构的集合的方法，即 AlexNet、VGG-16、EfficientNet B0、Vanilla CNN、Modified DenseNet 和 InceptionV3 + BiLSTM。我们在两个综合数据集上对其进行了测试，AUC 分心驾驶员数据集，我们的技术在其上实现了 96.37% 的准确率，超过了之前获得的 95.98%，以及在 State Farm Driver Distraction 数据集上，我们达到了 99.75% 的准确率。6 模型 Ensemble 给出的推理时间为 0.024 秒，这是在我们的机器上使用 Ubuntu 20.04（64 位）和 GPU 作为 GeForce GTX 1080 测量的。


总结：集成学习

9. A Transfer Learning Approach for Identification of Distracted Driving 2022 ICACT

（https://ieeexplore.ieee.org/document/9728846）
本文尝试使用具有不同模型架构的迁移学习和微调方法开发系统。使用各种预训练权重进行微调以提高准确性，并使用 Mobile Net、VGG16 和 ResNet50 模型实现。最后，结果表明，在三个模型中，具有冻结层的Mobile Net上的迁移学习是三个模型中最好的模型，在测试数据集图像上获得了99%（500个中的495个）的准确率。
总结：方法过于简单，迁移学习就是指用预训练参数，微调是指冻结某几层参数

10. Driver Distraction Detection Using Octave-Like Convolutional Neural Network 2021 TITS （IEEE Transactions on Intelligent Transportation Systems）

（https://ieeexplore.ieee.org/document/9457109）
本研究提出了一种轻量级卷积神经网络，该网络具有倍频程式卷积混合块，称为OLCMNet，用于在有限的计算预算下检测驾驶员分心。OLCM 模块使用逐点卷积 （PC） 将特征图扩展为两组分支。在低频分支中，我们进行平均池化、深度卷积（DC）和上采样，以获得低分辨率的低频特征图，从而降低空间冗余和连接密度。在高频分支中，将具有原始分辨率的扩展特征图馈送到直流算子，从而获得适当的感受野以捕获精细细节。通过压缩激发（SE）模块和PC算子依次对低频和高频分支的特征串联进行编码，实现特征全局信息融合。OLCMNet在最后阶段引入了另一个SE模块，促进了层之间的进一步敏感信息交换。此外，借助增强现实抬头显示器（ARHUD）平台，我们通过一系列道路实验创建了利隆分心驾驶行为（LDDB）数据集。这样的数据集包含从红外摄像头收集的 14808 个视频，涵盖了 2468 名参与者的六种驾驶行为。我们以每秒 5 帧的速度手动注释这些视频，总共获得 267378 张图像。与现有方法相比，嵌入式硬件平台实验表明，当延迟为32.8±4.6ms时，OLCMNet达到了可接受的权衡，即StateFarm数据集的准确率为89.53%，LDDB数据集的准确率为95.98%。

总结：收集了自己的数据集（构建了由14808个视频组成的分心数据集，重点关注2468名参与者的六种驾驶行为，以保证样本的多样性），所提网络相比于传统轻量级网络MobileNet和ShuffleNet，每层的卷积增加，特征表达能力增强。

注：文中大部分文字内容来自原始论文机翻，图片均来源于论文截图