imu相机标定_基于深度学习的多传感器标定

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

作者： 黄浴

 https://zhuanlan.zhihu.com/p/73073753

本文已由作者授权，未经允许，不得二次转载

标定是确定不同坐标系的相互转换关系，是传感器数据融合的前提，特别是激光雷达和图像数据。这里以深度学习的方法训练CNN模型去回归坐标系转换的参数。

主要是两个CNN模型：RegNet和CalibNet。

RegNet应该是第一个深度卷积神经网络(CNN)推断多传感器的6自由度(DOF)外参数标定，即激光雷达(LiDAR)和单目摄像头。RegNet将标定的三个步骤(特征提取、特征匹配和全局回归)映射到单个实时CNN模型中。在训练期间，随机对系统进行重新调整，以便训练RegNet推断出激光雷达投影到摄像头的深度测量与RGB图像之间的对应关系，并最终回归标定外参数。此外，通过迭代执行多个CNN，在不同程度失标定(decalibration)数据上进行训练。如图是一个例子。

失标定

标定基础事实(GT)

RegNet标定结果

首先，传感器坐标系中给出的点x变换为世界坐标系中的点y，定义为一个仿射变换矩阵H，即y = Hx。估计变换矩阵H的任务称为外标定。应用深度学习，需要重新定义外标定的问题，在给定初始标定Hinit和基础事实标定Hgt的情况下，确定失标定矩阵φdecalib，其定义如下