2.相机几何及标定

---

针孔几模型及透镜

---

1、相机标定（Camera Calibration）

• 空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要通过建立相机成像几何模型。
• 几何模型的参数就是相机参数
• 这个求解参数的过程就叫相机标定（或摄像机标定）
  相机标定主要围绕四个坐标系：世界坐标系、相机坐标系、图像物理坐标系、图像像素坐标系。
  相机参数主要围绕：内参、外参

---

2、世界坐标系及相机坐标系的转换

• 世界坐标系
  由于摄像机与被摄物体可以放置在环境中任意位置，这样就需要在环境中建立一个坐标系，用来表示摄像机和被摄像物体的位置，这个坐标系就称为“世界坐标系”。

• 相机坐标系
  一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜面光轴，与像平面垂直。

2.1 世界坐标轴与相机坐标轴的转换

• 旋转：旋转矩阵，欧拉角，四元数 ，轴角，李群与李代数
• 旋转的引用场景：惯性导航，机器人学（机械臂运动，无人机姿态估计，SLAM等）

1. 先旋转对齐，再平移回去，Y为原始位置，Yc为移动后位置（此处旋转矩阵摆放是根据行向量来的）
   

• 旋转可以通过极坐标证明：
  

2. 由于所有操作都是绕原点旋转，所以点到原点的欧式距离不变，所有分解都满足欧式距离不变性。（可用此方法验证旋转是否正确 ）
3.
4. 分别围绕X,Y,Z轴旋转的表达式如下：

当相乘时，为任意X,Y,Z旋转的一般式：

5. 旋转的左乘与右乘意义详解 解释2 解释3：坐标系旋转中的右乘——相对于机体坐标系旋转；坐标系旋转中的左乘——相对于固定坐标系旋转。注意： 固定坐标轴旋转是向量的旋转，坐标系旋转是基于点不动，坐标轴旋转。
   • 坐标系旋转：由于只是转动坐标系，对应点的向量不变，所以只是正交基的改变，所以有上4的结果，上4是从图方面得到，正交基推理转换从数学层面推理得到4。所以有Po=R*Pn（由正交基推理或者4内4得到的结论）；所以P旧=RXRYRZP新
   • 固定坐标系：图内P为旧点，P^为新点，固定坐标下，P转为P‘ 由下推理，可转换为P与P’的转换关系
     
     基于上图，是否能将绕固定轴转和坐标系变换整合统一？下图就是统一方式
     可以将固定坐标旋转内的P’当成原始坐标Pb，逆时针旋转一个角度变P，就与1变换方式一致了，带入1式，带入负的角度，就得到下第二图，p为原始点，不动点，转动坐标轴则P点到P’点。由于固定坐标轴有P新=Rp旧。此处P新是P’，P旧是P。所以P新=RZRyRXp旧；
     
     由于A是正交基所以实际上两个转换的旋转矩阵是一样的。
     
     根据上解释，根据坐标旋转则P旧=RP新；根据固定坐标轴旋转则是P新=R*P旧。所以此处可以得到所谓的“左乘右乘”，注意左右乘不是放在左右，而是在固定XYZ旋转矩阵的前提下，左右乘。例如：绕X,Y,Z分别转动，
     • 绕旋转坐标系转：则为P旧=RxRyRz*P新才能相互转换。
     • 绕固定坐标轴转：则为P新=RZRYRX*旧
     • 为统一上，P旧=RP新的格式；将固定轴所有旋转矩阵求逆。则

- 坐标系1相对于坐标系0的旋转矩阵：指坐标1绕0坐标轴转动。

5. 当经过4步骤进行旋转后，再加平移坐标系，通过齐次方程表示，使得可以用一个矩阵相乘方式表达（齐次方程一般用于将未知函数表达成一个方程，如平移向量对于旋转的向量是未知的。为了让平移的向量放进到矩阵乘方程内，去掉加项），如下图

2.2 世界坐标系到相机坐标系

2.3 相机的内、外参

• 相机外参：世界坐标系与相机坐标系换算过程中的旋转矩阵R以及平移矩阵T，就是相机的外参。
• 相机内参：相机坐标系与像素坐标系的关系就是相机内参。

---

3、像素坐标系、图像坐标系

像素坐标系和图像坐标系都位于同一平面上（二维平面）

3.1 像素坐标系

3.2 图像坐标系

3.3 图像坐标系与像素坐标系的换算

其中，dx表示1像素是多少毫米，则X/dx表示目前像素的图像长度，再加图像坐标原点就可得到图像坐标系。

---

4、针孔成像原理

实际上f就是O和o之间的距离，s就是P在o坐标系内z轴的坐标。

---

5、世界坐标系转为像素坐标系

根据2、3、4内的转换描述，实际上就可将世界坐标系逐步转为像素坐标系。

---

6、畸变参数

畸变介绍----------------------------------------------------------------------------------------

6.1 径向畸变

6.2 切向畸变

6.3 畸变矫正

• 其中r为镜像平面内某个点到镜像中心距离的平方和。也就是r=x平方+ y平方

---

7、相机标定原理

7.1 标定方法

7.2 张正友标定方法

可以先看7.3节单应性变换

• 由5章节描述描述所知，像素坐标系与世界坐标系关系转换如图所示：
  

• 假设标定棋盘位于世界坐标系中Zw=0的平面
  则可得到：
  
  

• 由于都有A逆的转置乘A的逆，所以把这部分定为B（方便表示）。 而A逆的转置乘A的逆是对称矩阵。

• 所以B是对称矩阵，只需要求6个元素就能得到B

• 上图内的Vij是通过化简得到

• 其中一张图片可得到两个求b的关系，所以6个未知量需要3最少3张图片。

• 上面得到对应内参后，通过矫正后得到的图片与真实图片对比，得到误差就能知道矫正效果如何。
  

• 由于参数众多，无法找到一个好的初始化参数，张正友的方法刚好提供了一个好的初始化参数。

畸变参数求解

• 其中r平方是光心位置x平方加y平方。

7.3 单应性（Homography）变换

单应性（Homography）变换（单应性矩阵就是H）

• 应用：
  
  

• 如何估算单应性矩阵？单应矩阵H推导
  叉乘指与两向量所成平面的垂直向量，相同向量叉乘得0；此处将h33变为1是因为每个空间点由两个方程，由于没有深度，所以h33为1