极端天气下的目标检测与测距算法

来源：机器学习AI算法工程


本文约1800字，建议阅读8分钟本文教你如何训练出一种天气分类模型，实时识别当下天气情况。

本文主要工作：

科技的发展与进步促使自动驾驶车辆逐渐成为全球汽车产业发展的重要战略方向。但自动驾驶车辆面对如：大雨、大雾、大雪等极端环境时，智能汽车图像采集与处理系统将面临巨大挑战。

并且自动驾驶需要实时关注周围物体的威胁，实时进行目标检测以及精确测量周围目标的距离是提高汽车安全性的可行之策。

本文教你如何训练出一种天气分类模型，实时识别当下天气情况。

其次针对不同天气情况则采取不同的图像去噪方法来提高图像质量。

天气前处理完成后将采取改进的 Yolo 模型对前方行人、车辆等道路环境目标进行目标检测。

最后对目标检测定位到的物体采用改进目标点的测距方法进行距离测量，为自动驾驶主动安全行为提供支持。

总结：本文完成了去雾、去雨、去雪，目标检测与车辆距离测量。运用了yoloV3目标检测，单目测距，prescan仿真。

1. 天气分类

为了实时识别出当下的天气情况，利用卷积神经网络搭建了天气分类模型。针对搜集到的天气图像数量少且不具代表性的问题，通过改进 mosaic 和图像合成手段进行数据增强与扩充。为了提升模型精度，将数据集划分成 6 种大小不同的 批尺寸，改进激活函数并引入模型优化方案。最终将数据集输送到天气分类模型训练后得到了良好的权重系数。该模型可以对实时出现的晴天、雨天、雾天、雪天四种天气进行识别分类，分类精确度可达 93.46%。

mosic天空区域图像增强：

数据增强主要代码部分：

四种天气数据集：

当涉及到自动驾驶技术时，天气数据的作用更加显著。以下是天气数据在自动驾驶中的几个重要作用：

预测能见度和道路状况：天气数据可以提供当前和未来的能见度信息以及道路的湿滑程度、积雪情况等。这对于自动驾驶车辆的感知和决策非常重要，因为它们需要根据道路状况调整行驶速度和操控方式，以确保安全驾驶。

优化路径规划和行驶策略：天气数据可以为自动驾驶车辆提供实时的气象信息，例如风速、降水情况和温度变化等。基于这些数据，自动驾驶系统可以选择最佳的路径规划和行驶策略，以应对不同的天气条件，并提供更加安全和高效的驾驶体验。

调整车辆控制系统：天气数据还可以帮助自动驾驶车辆调整其控制系统，以适应不同的天气条件。例如，在下雨或结冰的天气中，车辆可能需要调整制动和驱动力分配，以确保更好的牵引力和稳定性。

提供实时警报和建议：通过实时监测天气数据，自动驾驶系统可以向驾驶员或乘客提供相关的警报和建议。例如，在遇到暴风雨或冰雪道路条件时，系统可以提醒驾驶员减速或寻找安全停靠地点。

天气分类代码部分：

2. 极端天气下图像前处理

（1）去雾

针对不同的天气则采取不同的图像前处理方法来提升图像质量。

雾天天气 时，针对当下求解的透射率会导致去雾结果出现光晕、伪影现象，本文采用加权最小二乘法细化透射率透。

针对四叉树法得到的大气光值不精确的问题，改进四叉树法来解决上述问题。将上述得到的透射率和大气光值代入大气散射模型完成去雾处理；下图为去雾前后对比图。

去雾前：

去雾后：

去雾关键代码：

（2）去雨‍

• 面对雨天环境则采取主成分分析方法获取雨线图中雨线噪声的大小和形状信息，并将其与自适应阈值进行比较。

• 当满足条件时，利用一种方法将雨线与之邻近的无雨背景层进行关联来达到去雨目的。‍

去雨流程图：

去雨关键代码：

去雨结果：

（3）去雪‍

• 雪天天气时，本文在去雨算法的基础上引入一种图像处理手段，完成对图像中雪斑的进一步处理。

• 通过与经典算法定性以及定量比较，所提算法在结果中具良好的有效性和优越性。

去雪前后对比图：

去雪关键代码：

3. 目标检测

• 在图像处理后加入目标检测，提高了目标检测精度以及目标数量。

下图展现了雾天处理后的结果
图第一列为雾霾图像，第二列为没有加入图像处理的目标检测结果图，第三列为去雾后的目标检测结果图。

前处理前后目标检测效果对比：

4. 测距研究

为了得到距离，进行了precan仿真验证。并完成10-100m的图像采集，利用测距模型进行测量。在prescan进行了如下操作。

Prescan单目测距仿真研究：

上图采集到的目标框将可以用于自己模型的计算验证。

精确的对目标进行测距可以提高汽车安全性能。为了测量出目标检测得到的物体距离，本文首先完成了世界坐标到图像坐标系的公式推导，标定了相机内外参数。针对当下侧向物体测距时测量精确度不高的问题，进行了改进。得到了以下结果：

编辑：黄继彦

关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU