目标检测YOLO实战应用案例100讲-基于毫米波雷达与摄像头协同的道路目标检测与识别

目录

前言

感兴趣区域(region of interest,ROI)协同 

决策协同 

毫米波雷达信号处理 

2.1 毫米波雷达系统结构 

2.2 LFMCW雷达信号模型 

2.3 LFMCW雷达的信号处理原理  

2.3.1 LFMCW雷达测距 

2.3.2 LFMCW雷达测速 

2.3.3 LFMCW雷达测角 

2.4 LFMCW雷达信号处理基本流程 

2.4.1 距离-速度FFT 

2.4.2 非相参积累 

2.4.3 二维恒虚警检测 

2.4.4 角度维FFT  

2.5 算法仿真分析 

基于微多普勒特征的毫米波雷达目标识别 

3.1 微多普勒识别原理  

3.1.1 微多普勒效应概述 

3.1.2道路目标运动建模与仿真分析 

3.1.3 时频分析方法 

3.1.4 仿真数据时频图分析 

3.2 实测数据采集与分析  

3.2.1 回波数据处理 

3.2.2 毫米波雷达数据采集实验 

3.3 基于传统图像特征的目标识别算法 

3.3.1 基于灰度共生矩阵的时频图特征提取 

3.3.2 支持向量机分类器 

3.3.3 实验及结果分析 

3.4 基于卷积神经网络的目标识别算法

 3.4.1 卷积神经网络的基本理论 

3.4.2 卷积神经网络框架设计 

3.4.3 实验及结果分析 

基于图像的目标检测算法 

4.1 目标检测算法一般流程 

4.2 典型目标检测算法  

4.2.1 两阶段目标检测算法 

4.2.2 一阶段目标检测算法 

4.3 YOLOv7深度学习目标检测算法 

4.3.1 YOLOv7网络结构 

4.3.2 输入层中的Mosaic数据增强 

4.3.3 特征融合 

4.4 模型训练与测试  

4.4.1 实验环境与训练过程 

4.4.2 评价指标 

4.4.3 实验结果对比 

基于毫米波雷达与图像协同的目标检测 

5.1 空间同步与时间配准 

 5.1.1 空间坐标系转换 

5.1.2 相机参数标定 

5.1.3 时间配准 

5.2 基于毫米波雷达先验信息改进的图像检测网络 

5.2.2 基于雷达信息辅助的图像检测算法 

5.3 基于实测数据集的实验分析  

5.3.1 协同识别数据集构建 

5.3.2 协同识别算法实验及分析 

---

前言

自动驾驶技术主要依靠人工智能与多源信息协同处理[ 5]。在面对错综复杂的 道路环境时，智能汽车一般搭载多个传感器，收集不同传感器获取的环境及障碍 物信息，分析对自身行车有威胁的道路目标从而进行有效决策，控制车辆以避免 发生碰撞。因此这些不同质传感器的协同检测结果将直接影响后续的规划决策与 车辆控制。 
环境感知作为自动驾驶极其重要的一环，所使用的主流传感器有毫米波雷达、 超声波雷达、红外线传感器、摄像头以及激光雷达等。不同传感器都有各自优缺 点。毫米波雷达优点是工作稳定，不易受恶劣天气影响，探测距离最远可达  200m，测距与测速精度较高，且成本较低，但在实际应用中对目标识别能力较差； 激光雷达使用旋转激光阵列生成自动驾驶汽车周围环境的精确3D地图[ 6]，但这种 类型的传感器相当昂贵，可能需要大量的计算能力来解决光线和天气(雨、雾、雪) 的不利影响；摄像头一般采用单目或者立体相机，前者探测距离更远。摄像头获 取的数据量十分充足，可以精确前方目标，且成本较低，但相比于雷达传感器， 光学摄像头数据量级较大，处理时间较长，并且在恶劣天气下稳定性较差。考虑 到成本与优势互补，相比于激光雷达，毫米波雷达与摄像头价格较低，且毫米波 雷达在恶劣天气的稳定性以及对于测速与测距的准确性可以与摄像头互补，本文 通过研究基于毫米波雷达与摄像头的目标检测与识别方法，以及毫米波雷达和摄 像头信息协同的技术，为后续的决策控制系统提供了精确且稳定的前方