Walking_roll的博客

通过两个相机对某场景同时观测时，当我们知道了相机的内（外）参以及两者之间的基线，然后通过某种方式找到两相机对同一世界点的观测的关联关系（类似特征匹配），就可以计算出视差，最终通过下列公式计算出观测到的世界点的深度。上一节介绍的对极几何约束告诉我们，左相机对世界点的观测，在右相机上找到对应的观测位置，这个位置在右极线上，不严谨地说，也就是我们在算法上只需要沿着右图像的极线去遍历像素并与。我们知道图像在计算机加载时，内存是连续的，我们在找那条在极线上的点的时候需要跳跃好多点，这会造成效率上的降低。

如下图，世界点P只要是在那条红色线上，他在相机上的成像位置就是P‘，所以我们无法知道相机看到的P’对应的世界点的三维位置。（就像我们的眼睛一样，我们的双眼就是一个完美的立体视觉系统。但是从单目视觉的角度来看，它并不能有“近和远”的概念，因为无论那些远处的人是“真人”还是“模型”，他都会给出这么一副图像，从数据的层面来看，他就是给的二维坐标。显然，光心和成像平面是固定的，也就是说极点是固定的，基线也是固定的，而世界点们构成的极平面是绕着基线作为轴转动的，这也造成对极线也是以基线为轴在成像平面内移动。

得到平面方程之后，我们可以计算激光雷达原点到拟合平面的距离，此距离就是lidar到地面的高度。①在车辆行驶中，lidar 可以观测到地面，我们通过提取点云中的地面并拟合平面方程，根据平面方程法向量与（0，0，1）之间的旋转可以得到 lidar 和车身之间的 roll/pitch；得到激光雷达到地面的roll和pitch之后，就可以讲激光点云与地面对齐，然后我们使用SLAM算法或者点云配准方法，得到lidar的DR轨迹[已知lidar的航向变化以及车辆的航向变化，另一方面，我们可以根据上面的[

自动驾驶车辆一般会装有有GNSS/INS组合导航器件，比如NOVATEL，导远这些公司的产品。它可以提供高精度的车辆定位信息。组合定位系统的相关知识可以参考组合定位系统。我们这里IMU和车体坐标系的标定，就用到了组合导航给出的高精度位姿信息。注意：不同的组合导航产品可能输出位置的参考坐标系不同，在编程的时候也要注意坐标系统一。比如我使用的novatel产品输出的位置信息是在WGS84坐标系下，应该把它转换到ENU导航坐标系。相应坐标系转换可以参考这里。

又根据第二幅图，过相机光心和消失点的直线是与世界直线平行的，所以我们可以通过棋盘格得到两条过相机光心和两个消失点的方向向量，这两个向量垂直。这个模型将中心折反射相机和鱼眼相机统一在一个通用模型下，也称为泰勒模型。原理如前面所述，通过棋盘格中天然存在的几组垂直关系的平行线可以确定多组互相垂直的（相机光心到消失点）的方向向量，然后构建误差方程（垂直关系的方向向量点积为0）。从上面一系列的公式可以看出，在相机标定成功的情况下，如果我们知道了图像平面上一点的像素，我们可以反投影出一个相机光心指向世界点的方向向量。

在标定imu到车身的外参的时候有一些疑问，与gpt沟通，开拓思路。

用于相机的内参标定，opencv无法检测的棋盘格角点方法。

梳理张正友标定法。

SLAM问题中常见的非线性优化算法。

鱼眼相机模型

普通相机标定的基础

全向相机模型及标定原理