一文详解车载传感器标定技术！

作者 | July  编辑 | 自动驾驶与AI

原文链接：https://zhuanlan.zhihu.com/p/378246051

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【多传感器融合】技术交流群

后台回复【多传感器标定】获取Lidar/Camera/Radar/IMU等传感器在线离线标定论文！

标定传感器是自动驾驶感知系统中的必要环节，是后续传感器融合的必要步骤和先决条件，其目的是将两个或者多个传感器变换到统一的时空坐标系，使得传感器融合具有意义，是感知决策的关键前提。任何传感器在制造、安装之后都需要通过实验进行标定，以保证传感器符合设计指标，保证测量值的准确性。传感器在安装到自动驾驶汽车上之后，需要对其进行标定；同时，在车辆行驶过程中，由于震动等原因，会导致传感器位置与原位置产生偏离，因此有必要每隔一定的时间对传感器进行校准。自动驾驶汽车通过多种类型的传感器同时工作以进行环境感知与自感知，传感器的健壮性和准确性在自动驾驶汽车感知环节中尤为重要。

一、摄像头标定

车载摄像头以一定的角度和位置安装在车辆上，为了将车载摄像头采集到的环境数据与车辆行驶环境中的真实物体相对应，即找到车载摄像头所生成的图像像素坐标系中的点坐标与摄像机环境坐标系中的点坐标之间的转换关系，需要进行摄像头标定。

1.摄像头内参数标定

1.1摄像头模型的建立

通过环境坐标系、摄像头坐标系、图像物理坐标系、图像像素坐标系的相互转换关系，我们可以求出环境坐标系与图像像素坐标系之间的转换关系，即

对现实世界的的点P。其在环境坐标系下的坐标为( Xw, Yw, Zw )，在图像中的位置为(u，v)，两者有如下的关系：

环境坐标系与图像像素坐标系之间的转换关系

对内参矩阵,其四个常量fx,fy,Uo,Vo。与摄像机的焦距、主点以及传感器等设计技术指标有关，而与外部因素（如周边环境、摄像机位置）无关，因此称为摄像头的内参。内参在摄像头出厂时就是确定的。然而由于制作工艺等问题，即使是同一生产线生产的摄像头，内参都有着些许差别，因此往往需要通过实验的方式来确定摄像头的内参。对单目摄像头的标定，通常就是指通过实验手段确定摄像头的内参。

外参矩阵包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系。在计算机视觉中，确定外参矩阵的过程通常称为视觉定位。自动驾驶汽车在车载摄像头安装之后，需要标定在车辆坐标系下的摄像头位置。此外，由于汽车行驶的颠簸和震动，车载摄像头的位置会随着时间进行缓慢的变化，因此自动驾驶汽车需要定期对摄像头位置进行重新标定，这一过程称为校准。

1.2 摄像头畸变矫正

在实际使用中，摄像头并不能完全精确地按照理想的针孔摄像机模型进行透视投影，通常会存在透镜畸变，即物点在实际的摄像头成像平面上生成的像与理想成像之间存在一定光学畸变误差，其畸变误差主要是径向畸变误差和切向畸变误差。

• 径向畸变（radial distortion）:由于透镜的特性，光线容易在相机镜头的边缘出现较小或者较大幅度的弯曲，称之为径向畸变。这种畸变在普通廉价的镜头中表现更加明显，径向畸变主要包括桶形畸变和枕形畸变两种。桶形畸变则是由于镜头中透镜物以及镜片组结构引起的成像画面呈桶形膨胀状的失真现象。通常在使用广角镜头或使用变焦镜头的广角端时，较容易察觉桶形失真现象。枕形畸变是由镜头引起的画面向中间“收缩”的现象。人们在使用长焦镜头变焦镜头的长焦端时，较容易察觉枕形失真现象。

• 切向畸变（tangential distortion）：是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

在计算机视觉中，径向畸变对场景重建有着非常重要的影响。自动驾驶系统对环境的感知，要求摄像头能够实现对周边环境的高精确度重建，如果不对畸变加以矫正，就无法到精确的环境信息。例如，环境中的目标可能出现在图像的任何区域，如果不对畸变加以正，那么通过视觉技术得到的目标位置和大小往往是不准确的，这会直接影响自动驾驶汽车的行驶安全。此外，自动驾驶汽车安装有多个摄像头，且在不同位置，若不考虑径向畸变，在图像拼接过程中，就会因对应特征的误匹配从而导致拼接图像的模糊效应。

对一般的摄像头来讲，图像的径向畸变往往描述为一个低阶多项式模型。设（u,v)是纠正后的点的坐标，（u',u')是未纠正的点的坐标,则二者之间的变换可以通过以下公式确定：

径向畸变低阶多项式模型

另一方面，对于切向畸变，可以使用另外的两个参数p1,p2来进行纠正：

切向畸变低阶多项式模型

1.3摄像头内参标定方法

在现阶段，畸变参数的标定一般与其余内参同时进行。目前应用最广泛的是张正友于2000年提出的张正友标定法。张正友标定法通过在不同位置拍摄棋盘标定板的方式，在每个图像中找到棋盘标定板的内角点，通过内角点之间的对应关系建立对矩阵

的约束，从而恢复内参矩阵K。

2.摄像头间外参的标定

自动驾驶汽车中，为了尽可能减少感知盲区，往往采用多摄像头的模式。确定多摄像头之间的相对位置关系，这个过程称为摄像机的外参标定。

从另一个角度来说，摄像机的外参标定也可以称为“姿态估计”问题。两个摄像头之间相对位姿[R|t]有6个自由度（空间位置与旋转关系),从理论上来讲，只要两个摄像头同时获取空间中3个点即可恢复二者之间的相对姿态。从三对对应点恢复摄像头之间的相对姿态的问题，称为“透视三点问题”（Perspective-3-Point-Problem,P3P)。在现实中，常常使用3个以上的点来恢复相对姿态，以提高鲁棒性，P3P问题被推广为PnP问题。

最初研究者使用直接线性法（Direct Linear Transform,DLT)解决PnP问题，之后为了提升精度，研究者们提出了鲁棒线性化的重投影误差，开始采用选代的方法来求解PnP问题，并由此提出了姿态估计中著名的光束平差法（Bundle Adjustment,BA)。

二、激光雷达的标定

激光雷达自动驾驶平台的主要传感器之一，在感知、定位方面发挥着重要作用。同摄像头一样，激光雷达在使用之前也需要对其内外参数进行标定。内参标定指的是其内部激光发射器坐标系与雷达自身坐标系的转换关系，在出厂之前已经标定完成，可以直接使用。自动驾驶系统需要进行的是外参标定，即激光雷达自身坐标系与车体坐标系的关系。

激光雷达与车体为刚性连接，两者间的相对姿态和位移固定不变。为了建立激光雷达之间以及激光雷达与车辆之间的相对坐标关系，需要对激光雷达的安装进行标定，并使激光雷达数据从激光雷达坐标系转换至车体坐标系上。

车体坐标系与激光雷达坐标系

通过实验采集同一个点在两个坐标系下的真实坐标，即同名点，建立一系列的方程可以求出这16个未知参数。另外，在自动驾驶汽车上，通常需要将激光雷达与惯性导航单元（IMU)坐标系进行标定，建立激光雷达与车体坐标系之间的关系。

1.激光雷达和激光雷达之间的标定

对自动驾驶汽车来说，有时会存在多个激光雷达的情况，每一个激光雷达获取的外部境都必须准确地映射到车体坐标系下。因此，当存在多个激光雷达时，需要对多个激光雷的相对位置进行标定和校准。

激光雷达之间的外参标定有多种思路，其中较为常用的是通过不同激光雷达与车体之间的坐标转换关系来间接推导出激光雷达之间的坐标转换关系。

2.激光雷达与摄像机的标定

在自动驾驶车辆上，激光雷达与无人驾驶汽车为刚性连接，两者间的相对姿态和位移固定不变，因此，激光雷达扫描获得的数据点，在环境坐标系中有唯一的位置坐标与之对应。同样，摄像机在环境坐标系中也有唯一的位置坐标，因此，激光雷达与摄像机之间存在着固定的坐标转换。激光雷达与摄像机的联合标定，就是通过提取标定物在单线激光雷达和图像上的对应特征点，完成单线激光雷达坐标、摄像机坐标、图像像素坐标等多个传感器坐标的统一，实现激光雷达与摄像机的空间校准。

当完成摄像机外参标定、激光雷达外参标定之后，二者之间的关系其实就可以完全确定，激光雷达扫描点可投影到图像像素坐标系。

同相机的内参标定方法一样，激光雷达与摄像机的外参标定也可以使用标定板的标定方法。

视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称