【信号检测】毫米波雷达和视觉传感器融合检测仿真【含Matlab源码 3683期】

最新推荐文章于 2024-04-10 14:45:20 发布

Matlab领域

最新推荐文章于 2024-04-10 14:45:20 发布

阅读量1k

点赞数 22

分类专栏： Matlab信号处理（高阶版）文章标签： matlab

本文链接：https://blog.csdn.net/weixin_63266434/article/details/135095403

版权

Matlab信号处理（高阶版）专栏收录该内容

287 篇文章 8 订阅

订阅专栏

在这里插入图片描述

⛄一、毫米波雷达和视觉传感器融合检测仿真

1 毫米波雷达与视觉的融合
一般来说，毫米波雷达和视觉有三个融合级别，包括数据级、决策级和特征级。数据级融合是对毫米波雷达和摄像机检测到的数据的融合，它的数据损失最小，可靠性最高。决策级融合是对毫米波雷达和摄像机的探测结果的融合。特征级融合需要提取雷达特征信息，然后与图像特征融合。表1提供了三种融合水平的比较。
在这里插入图片描述
2 数据
数据方面， 3D场景下的多传感器目标检测，涉及到空间信息的处理还有不同传感器数据的结合，所以数据的维度更多，结构也相对复杂。方案中以nuScenes数据集为例，对模型进行可行性验证和预训练。整个方案的流程中，针对不同的场景和计算需要，共建立了5个不同的坐标系，不同坐标系间的映射关系由现场标定进行获取，nuSences数据集中提供了完备的标定信息供计算使用。

3 数据坐标系
方案中共包含5个坐标系，分别是全局坐标系（global）、车身坐标系(ego)、雷达坐标系(radar)、相机坐标系(cam)和像素坐标系(image)。其中，像素坐标系为常见的左上角点二维坐标系，像素坐标系和相机坐标系的转换关系由相机内参确定。其他四个坐标系均为三维坐标系，坐标系间的转换关系由现场标定确认。一共需要三个变换矩阵，分别是：
（1）雷达外参：雷达坐标系到车身坐标系的变换矩阵
（2）相机外参：相机坐标系到车身坐标系的变换矩阵
（3）车身姿态：车身姿态包括当前时刻车辆在全局坐标系中的位置和偏转信息两部分。

4 模型输入
模型输入共包括三个部分：
相机数据和雷达数据：

5 图像特征提取
图像特征提取分为全卷积骨干网和主要回归头两部分。
（1）全卷积骨干网
CenterFusion 网络架构在对图像进行初步检测时，采用 CenterNet 网络中修改版本的骨干网络 DLA（深层聚合）作为全卷积骨干网，来提取图像特征，因为 DLA 网络大大减少了培训时间，同时提供了合理的性能。
（2）主要回归头
主动回归头包括六个分支（如图2），分别输出中心点热力图、中心点偏移量、2D宽高、3D长度、距离和旋转角度，其中的中心点热力图、中心点偏移量、2D宽高、3D维度就是最终输出，不会再次预测。

6 雷达数据与目标图像的关联
要实现雷达数据与相机数据的融合，首先要将雷达的检测点与其对应的物体在图像平面进行匹配。一种比较简单直接的方法是将图像平面上落在一个2D bunding box里的雷达检测点与这个目标进行关联，但这种方法的可靠性很低，原因包括以下三点：
（1）雷达检测点和目标不是一一对应的，场景中有的目标会产生多个雷达检测点，也有的雷达检测点匹配不到任何目标。

（2）毫米波雷达的检测点的z轴信息准确性很差或者根本没有，在投影过程中可能无法精准投影到图像平面上的对应的bunding box内。

（3）同样是因为z轴信息的不稳定，如果目标被遮挡，则前后两个目标的监测点很容易在图像平面上落在同一区域内，造成错误匹配。

因此需要引入截锥关联和支柱扩张模块，来更好的进行检测点和目标框的匹配。

⛄二、部分源代码

% Define an empty scenario
scenario = drivingScenario;
scenario.SampleTime = 0.01;
roadCenters = [0 0; 50 0; 100 0; 250 20; 500 40];
roadWidth = 7.2; % Two lanes, each 3.6 meters
road(scenario, roadCenters, roadWidth);
% Create the ego vehicle that travels at 25 m/s along the road
egoCar = vehicle(scenario, ‘ClassID’, 1);
path(egoCar, roadCenters(2:end,:) - [0 1.8], 25); % On right lane

% Add a car in front of the ego vehicle
leadCar = vehicle(scenario, ‘ClassID’, 1);
path(leadCar, [70 0; roadCenters(3:end,:)] - [0 1.8], 25); % On right lane

% Add a car that travels at 35 m/s along the road and passes the ego vehicle
passingCar = vehicle(scenario, ‘ClassID’, 1);
waypoints = [0 -1.8; 50 1.8; 100 1.8; 250 21.8; 400 32.2; 500 38.2];
path(passingCar, waypoints, 35);

% Add a car behind the ego vehicle
chaseCar = vehicle(scenario, ‘ClassID’, 1);
path(chaseCar, [25 0; roadCenters(2:end,:)] - [0 1.8], 25); % On right lane
sensors = cell(8,1);
% Front-facing long-range radar sensor at the center of the front bumper of the car.
sensors{1} = radarDetectionGenerator(‘SensorIndex’, 1, ‘Height’, 0.2, ‘MaxRange’, 174, …
‘SensorLocation’, [egoCar.Wheelbase + egoCar.FrontOverhang, 0], ‘FieldOfView’, [20, 5]);

% Rear-facing long-range radar sensor at the center of the rear bumper of the car.
sensors{2} = radarDetectionGenerator(‘SensorIndex’, 2, ‘Height’, 0.2, ‘Yaw’, 180, …
‘SensorLocation’, [-egoCar.RearOverhang, 0], ‘MaxRange’, 174, ‘FieldOfView’, [20, 5]);

% Rear-left-facing short-range radar sensor at the left rear wheel well of the car.
sensors{3} = radarDetectionGenerator(‘SensorIndex’, 3, ‘Height’, 0.2, ‘Yaw’, 120, …
‘SensorLocation’, [0, egoCar.Width/2], ‘MaxRange’, 30, ‘ReferenceRange’, 50, …
‘FieldOfView’, [90, 5], ‘AzimuthResolution’, 10, ‘RangeResolution’, 1.25);

% Rear-right-facing short-range radar sensor at the right rear wheel well of the car.
sensors{4} = radarDetectionGenerator(‘SensorIndex’, 4, ‘Height’, 0.2, ‘Yaw’, -120, …
‘SensorLocation’, [0, -egoCar.Width/2], ‘MaxRange’, 30, ‘ReferenceRange’, 50, …
‘FieldOfView’, [90, 5], ‘AzimuthResolution’, 10, ‘RangeResolution’, 1.25);

% Front-left-facing short-range radar sensor at the left front wheel well of the car.
sensors{5} = radarDetectionGenerator(‘SensorIndex’, 5, ‘Height’, 0.2, ‘Yaw’, 60, …
‘SensorLocation’, [egoCar.Wheelbase, egoCar.Width/2], ‘MaxRange’, 30, …
‘ReferenceRange’, 50, ‘FieldOfView’, [90, 5], ‘AzimuthResolution’, 10, …
‘RangeResolution’, 1.25);

% Front-right-facing short-range radar sensor at the right front wheel well of the car.
sensors{6} = radarDetectionGenerator(‘SensorIndex’, 6, ‘Height’, 0.2, ‘Yaw’, -60, …
‘SensorLocation’, [egoCar.Wheelbase, -egoCar.Width/2], ‘MaxRange’, 30, …
‘ReferenceRange’, 50, ‘FieldOfView’, [90, 5], ‘AzimuthResolution’, 10, …
‘RangeResolution’, 1.25);