基于RK3588的大型卡车盲区目标多图像传感器 融合检测方法研究

随着道路交通安全问题的日益凸显，大型卡车盲区监测的技术需求迫切提升。本文 提出了一种创新的盲区监测方法，结合轻量化深度学习模型和多图像传感器数据融合技 术，针对大型卡车的盲区监测进行了深入研究和实践应用。本文通过引入改进后的
YOLOv5算法，改进损失函数为SIoU，并融合Ghostnet模块、BiFPN和CA注意力机 制，通过结合Bdd100k数据集和自制数据集并进行模型训练和测试，本文提出的改进 YOLOv5算法的模型大小减少了15.9%，检测精度相较原始YOLOv5模型提升了0.6%， 平均精度达到77%，并且推理速度提升4FPS，在保持模型轻量化的基础上还略微提升 了检测精度和推理速度，验证了改进算法的有效性。 
为了应对相机的视觉畸变问题，本文分析了图像传感器的标定方法实现对相机的去 畸变校正，获取了相机内参和畸变系数，提高了图像质量。针对大型卡车盲区视野大的
问题，本文使用ORB算法进行多图像传感器视频流的拼接融合，扩展了盲区检测范围，
提高了系统对复杂交通环境的适应性和鲁棒性。最后搭建实验平台获取相机视频数据，
并将改进后的YOLOv5s算法模型部署在RK3588开发板，为大型卡车的盲区检测提供 了有效的技术方案。 

为了满足大型车辆盲区的目标检测任务，本章首先搭建了实验平台，并使
用V4L2框架进行摄像头数据采集，然后将改进后的目标检测算法YOLOv5模 型转化成RK3588搭载的NPU所支持的模型格式，最后部署在RK3588开发板 上进行推理检测，实现盲区目标检测的移动端嵌入式部署。  
5.1实验平台构建 
本文实验平台的开发板部署端使用的是搭载Ubuntu-20.04.5的信迈科技 RK3588开发板，RK3588是瑞芯微旗下的一款搭载了NPUÿ