RGB-D对红外热像仪和毫米波雷达标定

RGB-D对红外热像仪和毫米波雷达标定

Extrinsic Calibration of Thermal IR Camera and mmWave Radar by Exploiting Depth from RGB-D Camera

摘要

尽管RGB相机和激光雷达用途广泛，但据报道，在低能见度的环境下容易受到火灾或烟雾的影响。为了解决这个问题，我们引入了一个由红外热像仪和毫米波雷达组成的传感器系统。在此过程中，需要在两个传感器之间进行外部标定，而雷达的14位温度和稀疏距离测量的标定是一个挑战。提出了一种利用RGB-D传感器作为深度优化中介的多模态标定方法。为了验证相对位姿估计的正确性，我们提出了将雷达深度投影到红外相机坐标系上的定性结果。

主要贡献:使用LM算法通过RGB-D的深度信息进行红外相机与毫米波雷达的外参标定。

图1 外参标定结果 （b）在红外热图像上投影深度图像（c）

利用估计的外部参数在红外图像上叠加毫米波雷达点。

K是红外相机的内参，u是像素点，下表t，c，r分别代表红外相机、RGBD相机以及毫米波雷达。

  为了找到红外相机和毫米波雷达之间的外部标定参数，我们在红外图像上得到了N组数据在每个RGB-D相机和毫米波雷达深度点上最小值、最大值以及中间值。对N个元素的损失函数进行优化，如（2）所示。