Task02：差异与统一：坐标系变换与外参标定

以下内容来自DataWhale：https://www.yuque.com/u1507140/vslam-hmh/csqub9k4nax99i19#nrHE1

1. 坐标系变换

坐标系变换的意义：我们知道某个物体在坐标系A下的坐标，但我们想知道其在B坐标系下的坐标，这就需要通过坐标系变换来实现。再进一步，我们知道了某物体在多个坐标系（也就是多个相机）下的坐标，即可还原出物体的真实建模。得到的变换关系矩阵也叫相机的外参矩阵。

对于二维坐标系变换，可以大致归纳为三种：

• 纯旋转变换

• 纯平移变换

• 不规则旋转加平移变换

1.1 纯旋转变换

主要是根据三角形关系推导，可得：

1.2 纯平移变换

这个好说，直接就是坐标的加减。

1.3 不规则旋转加平移变换

把旋转和平移组合起来，就是不规则变换了:

1.4 扩展到三维变换

对于上述公式，扩展一个z轴选项，即可得：

2. 相机外参

对于移动载体来说，相机只是载体的一个传感器，我们更感兴趣的是，通过相机观测到的物体，相对于载体而言，其坐标为什么。如果说相机坐标系为camera_link，那么载体坐标系为base_link，这二者之间存在一个变换矩阵，通常用camera_link到base_link的欧式转换表示，而这个变换矩阵，就是常说的相机外参。

2.1 相机外参标定

如果知道相机相对于载体坐标系安装的位置与角度，是可以直接得到相机外参的，但是，由于机械安装的误差，或者运动过程的变形，这个外参是会改变的。为了获取此时的外参，常借助于一些外参标定工具，常见的外参标定工具有如下几种：

• OpenCV

• MATLAB

• Kalibr

2.2 外参标定的意义

相机外参标定确定了相机在世界坐标系中的位置和朝向，这些信息可以用于将图像中的点转换为世界坐标系中的点，或者将世界坐标系中的点转换为图像中的点。因此，外参标定对于相机视觉算法的准确性和稳定性有着重要的影响。以下是外参标定对算法的几个方面的影响：

1. 特征匹配：在进行特征匹配时，需要将图像中的特征点匹配到世界坐标系中的点。如果外参标定不准确，将导致匹配错误，从而影响算法的准确性。

2. 三维重建：在进行三维重建时，需要将多张图像中的点匹配到世界坐标系中的点，并进行三维重建。如果外参标定不准确，将导致重建的几何形状不准确或者出现扭曲。

3. 目标跟踪：在进行目标跟踪时，需要将跟踪目标在多张图像中的位置匹配到世界坐标系中的点，并进行跟踪。如果外参标定不准确，将导致跟踪不准确或者跟踪失败。

4. 相机姿态估计：在进行相机姿态估计时，需要将相机在多张图像中的位置和朝向匹配到世界坐标系中的点，并进行姿态估计。

2.3 相机标定的类型

相机标定是指确定相机内部参数和外部参数的过程，以便在图像中恢复真实世界中的几何信息。常用的相机标定类型包括以下几种：

1. **内部标定：**用于确定相机的内部参数，包括焦距、主点位置、畸变系数等。内部标定通常使用标定板等已知几何形状的物体，并采用校正方法进行计算。

2. **外部标定：**用于确定相机在世界坐标系中的位置和方向。外部标定通常使用已知位置的标定板或者其他几何形状的物体，并采用三维重建方法进行计算。

3. **传感器到传感器标定：**用于确定多个相机之间的相对位置和方向，以便进行双目或多目视觉处理。传感器到传感器标定通常使用标定板或者球形标定物等，采用立体匹配算法进行计算。

4. **传感器到车体标定：**用于确定相机在车体坐标系中的位置和方向，以便进行车载视觉处理。传感器到车体标定通常使用车体固定的标定板或者其他几何形状的物体，采用三维重建方法进行计算。

5. **姿态标定：**用于确定相机在平面或者空间中的朝向，以便进行视觉导航或者机器人控制。姿态标定通常使用旋转平台或者陀螺仪等设备，采用角度解算方法进行计算。

6. **相机-激光雷达标定：**用于确定相机和激光雷达之间的相对位置和方向，以便进行三维点云重建或者障碍物检测。相机-激光雷达标定通常使用已知几何形状的标定板或者球形标定物，采用多视角几何约束方法进行计算。

7. **相机-IMU标定：**用于确定相机和惯性测量单元（IMU）之间的相对位置和方向，以便进行惯性辅助导航或者姿态估计。相机-IMU标定通常使用运动平台或者旋转平台等设备，采用卡尔曼滤波或者优化方法进行计算。