Radar 4D毫米波雷达和Camera 相机 外参联合标定 即开即用

毫米雷达和相机的联合标定研究甚少，最近看了好多帖子，不是收费，就是项目需求代码不开源，所以鉴于此自己基于Matlab开发了一个4DRadarCameraCali工具箱来简化标定过程。希望能帮助后来的小伙伴。

版本要求

Matlab R2021a 以上

整体界面设计

左侧为外参调整栏，右侧为相机内参设置栏，中间为图像点云显示窗口

快速开始

使用说明：
（先设置其相机内参）
1.使用img选择图片
2.使用pcd选择pcd点云文件
3.使用ROI选择点云区域
4.使用点云检测质心拟合长方形求取质心
5.使用画框求取图像坐标中心
6.找到至少不共线4对点（其实3对点也可以）求取[orientation, location]=estimateWorldCameraPose(imagePoints, worldPoints, cameraParams);相机坐标系到世界坐标系的转换。其中相机内参为cameraIntrinsics(app.focalLength,app.principalPoint,imageSize,‘RadialDistortion’,app.RadialDistortion,‘TangentialDistortion’,app.TangentialDistortion);
7.更改左侧参数，查看配准效果。
下面是实际操作流程：

matlab工具的使用

分区介绍

相机内参设置，需要提前标定好相机。

导入图片和pcd格式点云

显示区域，下方为点云投影图像图，第一个点云图为点云通过外参矩阵变换到相机坐标系下的点云图，第二个图为原始点云图

找到感兴趣区域，进行选择区域，剔除噪点

调整进行配准，如果项目精度要求不高，到此为止，因为毫米波雷达本身噪点就高，配准精度一般不会太高，如果还有一定要求，可以通过右侧点云质心按钮，求取当前感兴趣区域点云的质心，程序中给出两种方法，一种是对点云进行矩形拟合给出其中心坐标，另一种是直接求取其质心。同时根据其图像画框按钮求取其对应图像的坐标，最后根据上述第六步求解更为精确的外参关系。

质心拟合如上图，红色区域为对应感兴趣区域点云的矩形拟合模型。

画框中心如上。

展望

本文实现基本数学原理与偶尔看到的这篇论文
L. Cheng, A. Sengupta and S. Cao, “3D Radar and Camera Co-Calibration: A flexible and Accurate Method for Target-based Extrinsic Calibration,” 2023 IEEE Radar Conference (RadarConf23), San Antonio, TX, USA, 2023, pp. 1-6, doi: 10.1109/RadarConf2351548.2023.10149669.
类似，有需要可以进行下载学习，但其主要的pnp和lm优化方法，本文使用estimateWorldCameraPose函数代替。
此外，文中提出的雷达三角反射器，感觉适合高精度的联合外参标定，如果有需要的，可以将标志物换成雷达三角反射器进行特征质心提取，应该会提升不少精度。

app安装

记得安装Matlab时勾选安装lidarCameracali 工具包*****
这点很重要，如果不知道哪个是，就全部勾选，一共20G。
下载链接
如果帮到你请点星，谢谢你的鼓励很重要。
如果有任何问题可以到app作者信息联系。

参考

https://blog.csdn.net/leonardohaig/article/details/88724365
https://blog.csdn.net/hgz_gs/article/details/114288657?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-114288657-blog-134440694.235%5Ev43%5Epc_blog_bottom_relevance_base8&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-1-114288657-blog-134440694.235%5Ev43%5Epc_blog_bottom_relevance_base8&utm_relevant_index=2

后续更新

对于上述展望中的内容，使用角反射器做了对应试验，发现仅仅使用estimateWorldCameraPose对于有很多干扰源的情况下（数据异常较多）会比较适用，但是在一般数据正确的情况下，还是要像论文中一样，最后使用lm优化，得到更符合物理意义的精确解，如果省略这步投影误差可能会偏大。从外参看：确实使用角反射器后，精度得到了提升。平均重投影误差：大概可以达到5-10像素以内。