[cv3d] 相机标定+内外参矩阵推导

[cv3d] 相机标定+内外参矩阵推导

---

---

注：章节一图像拷贝自：计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换，侵删！

---

1. 世界坐标系到像素坐标系

注：此章节坐标系图像图像拷贝自：计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换，侵删！

1.0. 立体视觉的四个坐标系

• 相机矩阵：
  成像过程就是三维空间坐标到二维图像坐标的变换，这是一个投影过程（降维打击）。
  相机矩阵就是建立这种三维到二维的投影关系。

  $\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\underset{\text{相机矩阵}\left(3\times 4\right)}{\underbrace{{\left[\begin{array}{ccc}{p}_1& p_2& p_3\\ p_5& p_6& p_7\\ p_9& p_{10}& p_{11}\end{array}\begin{array}{c}{p}_4\\ p_8\\ p_{12}\end{array}\right]}_{3\times 4}}}\cdot \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

  \\

  这里，$[P]$ 矩阵就是一个$3\times 4$的矩阵（这是为了满足4X1变换到3X1的要求）
  该矩阵就被称为相机矩阵（camera matrix ），或者相机投影矩阵（camera projection matrix）。

1.1. 世界坐标系 to 相机坐标系

• 世界坐标系中的点$P$在相机坐标系中的坐标（公式推导见5）：

  $\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R_{3\times 3}\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+T_{3\times 1}$

  $\text{仿射变换}=\text{旋转变换（线性）}+\text{平移变换（非线性）}$

  $$\begin{gathered} \text{其中：} \\ {R}_{3\times 3}=R_x\cdot R_y\cdot R_z\text{（绕}x\text{，}y\text{，}z\text{轴的旋转变换）} \\ {T}_{3\times 1}={\left[\begin{array}{ccc}{t}_x& t_y& t_z\end{array}\right]}^T\text{（沿}x\text{，}y\text{，}z\text{轴方向的平移）} \\ \text{世界坐标点：}\left(x_w,y_w,z_w\right) \\ \text{相机坐标点：}\left(x_c,y_c,z_c\right) \end{gathered}$$

• 引入齐次坐标，将仿射变换纳入统一的变换矩阵中：

  $\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]={\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ \vec{0}& 1\end{array}\right]}_{4\times 4}\cdot \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

1.2. 相机坐标系 to 图像坐标系

虽然拷贝的图上已经将矩阵变换写了出来，但是还是需要自己写一遍。

• 相机坐标系到图像坐标系是从3D空间投影到2D空间，通过投影透视（perspective projection）

• 利用相似三角形法则，建立方程组：

  $\{\begin{array}{l}{x}_i=f\cdot \frac{x_c}{z_c}\\ y_i=f\cdot \frac{y_c}{z_c}\\ z_c=z_c\end{array}$

  $$\begin{gathered} f\text{：相机焦距} \\ \left(x_c,y_c,z_c\right):\text{相机坐标系} \\ \left(x_i,y_i\right):\text{图像坐标系（}i\text{：}image\text{）} \end{gathered}$$

• 矩阵表示形式表示：

  $z_c\cdot \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]$

  \\

  $\text{在等号右边先使用为齐次坐标表示，与世界坐标系 to 相机坐标系结果保持一致：}$

  $righ{t}_{4\times 1}=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]$

  \\

  $\text{在对得到的坐标进行降维}\left(4D\text{到}3D\right)$

  $righ{t}_{3\times 1}={\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]}_{3\times 4}\cdot righ{t}_{4\times 1}$

  \\

  $\text{即：}$

  $righ{t}_{3\times 1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]\cdot \left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]={\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]}_{3\times 4}\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]$

  \\

  $\text{这里：}$

  $\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]\text{：此矩阵将}3D\text{坐标降维到}2D\text{坐标（}3D\text{齐次坐标转化为}2D\text{齐次坐标）}$

  $\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\text{：此矩阵是一个缩放矩阵（在}x\text{，}y\text{轴方向）}$

  \\

  $\text{因此相机坐标到图像坐标可以表示为：}$

  $z_c\cdot \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]$

1.3. 图像坐标系 to 像素坐标系

• $O-uv$ 像素坐标系，$O-xy$图像坐标系，
• $dx，dy$像素的每一列，每一行的实际长度（毫米，$mm$）,
• $x/dx，y/dy$ 每一行，每一列的像素个数（整数）。

• 建立图像点到像素点的方程组：

  $\{\begin{array}{l}u=\frac{1}{dx}\cdot x_i+u_0\\ v=\frac{1}{dy}\cdot y_i+v_0\end{array}$

• 矩阵形式，齐次坐标表示，则图像坐标系到像素坐标系的转换可以表示为：

  $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

1.4. 整合表达式，得出世界坐标系到像素坐标系的表达：

• 世界坐标系 – 相机坐标系$（3D-3D）$:

  $\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]={\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ \vec{0}& 1\end{array}\right]}_{4\times 4}\cdot \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

  \\

• 相机坐标系 – 图像坐标系$（3D-2D）$:

  $z_c\cdot \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]\cdot \left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]$

  \\

• 图像坐标系 – 像素坐标系$（2D-2D）$:

  $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]$

  \\

• 整合：世界坐标系 – 像素坐标系$（3D-2D）$:

  $$\begin{gathered} z_c\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]={\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]}_{3\times 3}\cdot \underset{\text{拆分此矩阵}}{\underbrace{{\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]}_{3\times 4}}}\cdot {\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ \vec{0}& 1\end{array}\right]}_{4\times 4}\cdot {\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]}_{4\times 1} \\ \Updownarrow \\ {z}_c\cdot \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\underset{\text{这两项相乘}}{\underbrace{{\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]}_{3\times 3}\cdot {\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]}_{3\times 3}}}\cdot \underset{\text{这两项相乘}}{\underbrace{{\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\begin{array}{c}0\\ 0\\ 0\end{array}\right]}_{3\times 4}\cdot {\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ \vec{0}& 1\end{array}\right]}_{4\times 4}}}\cdot {\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]}_{4\times 1} \\ \Updownarrow \\ {z}_c\cdot {\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]}_{3\times 1}={\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]}_{3\times 3}\cdot {\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\end{array}\right]}_{3\times 4}\cdot {\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]}_{4\times 1} \end{gathered}$$

  \\

• 最终结果：
  

• 按照习惯，内参矩阵是 $3x3$ 形式，外参矩阵是 $3x4$ 形式，相机矩阵是 $3x4$ 形式
• $f_x$：使用像素来描述x轴方向焦距的长度
• $f_y$：使用像素来描述y轴方向焦距的长度
• $u_0,v_0$：主点的实际位置，单位也是像素。

• 通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的 $z_c$ （深度值）的值（来源）。

---

2. 畸变参数：径向畸变

• 景深（depth of field）：（摄影学或计算机图形学）每个镜头都会有特定的准确对焦的距离。假如我们另取一点 Q ，在像平面上的投影点则可能是模糊或失焦的。

• 焦点：镜头能够讲所有平行于光轴的光线折射到同一个点。

• 焦距：焦点和光心的距离$f$。从光心穿过的光线不会偏离原始方向。

• 一个理想的透镜具有如下两个性质：

  • 它的投影方式和小孔模型相同
  • 将一定数量的光线汇聚在一起

• 畸变参数：
  相机的内参除了以上$fx,fy,u0,v0$，还包含畸变系数$[k1,k2,p1,p2,k3]$

  理想的透镜是没有畸变的。但是，因为制造和安装精度等方面的原因，镜头总是存在这畸变。畸变是相机固有特性，和相机内参一样，标定一次即可。

• 畸变参数类型：

  • 径向畸变（Radial Distortion）
  • 切向畸变（Tangential Distortion）
  • 其他类型畸变，故忽略不计

• 径向畸变：
  透镜形状不规则以及建模的方式，导致镜头不同部分焦距不同。

  光线在远离透镜中心的地方偏折更大（枕型畸变）或更小（桶形畸变）

  对径向畸变，成像仪中心（光轴）的畸变为0，随着向边缘移动，畸变越来越严重。

  可以用$r=0$（半径）位置周围的泰勒级数展开的前几项来定量描述
  
  常见的径向畸变情形，桶形畸变通常$k1>0$，枕形畸变通常$k1<0$

---

3. 畸变参数：切向畸变

• 切向畸变
  在整个摄像机的组装过程，由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的

  切向畸变可以用两个额外的参数$p_1和p_2$来描述
  

---

4. 标定与去畸变原理

• 径向畸变、切向畸变图示：

  • $idealpoint:(x_u,y_u),理想点$
  • $realpoint:(x_d,y_d),实际点$
  • d r : 径 向 畸 变 ， 参 数 { k 1 , k 2 , k 3 } dr: 径向畸变，参数 \left\{ k_1, k_2, k_3 \right\} dr:径向畸变，参数{k1​,k2​,k3​}
  • d t : 切 向 畸 变 ， 参 数 { p 1 , p 2 , } dt: 切向畸变，参数 \left\{ p_1, p_2, \right\} dt:切向畸变，参数{p1​,p2​,}

• 相机的固有参数（内参）：

  $\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\text{或}\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$

  $u_0,v_0可以写作c_x,c_y$

  \\

• 畸变参数（系数）：

  $Distortio{n}_{coefficients}=\left(k_1{k}_2{p}_1{p}_2{k}_3\right)$

  $其中：k_1,k_2,k_3是径向畸变系数，p_1,p_2是切向畸变系数$

  \\

• 使用标定流程确定这两个矩阵：内参矩阵、畸变系数矩阵：
  把摄像机对准一个有很多独立可标识点的物体，在不同角度观看这个物体，进一步可通过每个图像来计算摄像机的相对位置和方向，以及摄像机的内参。

• 内参标定完成后，可以建立三维坐标和二维图像（像素）坐标的关系：

  $\{\begin{array}{l}{x}_i=f_x\cdot \frac{x_c}{z_c}+c_x\\ y_i=f_y\cdot \frac{y_c}{z_c}+c_y\end{array}$

  $(x_i,y_i)是图像坐标，可以是(u,v)像素坐标$

  \\

• 通过下面的变换，可以得到没有畸变的标定结果：

  $$\begin{gathered} x_{corrected}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+[2p_{1}xy+p_2(r^2+2x^2)] \\ {y}_{corrected}=y(1+k_1{r}^{{}_2}+k_2{r}^{{}_4}+k_3{r}^6)+[p_1(r^{{}_2}+2y^{{}_2})+2p_{2}xy] \end{gathered}$$

  $\text{已知：}{r}^2=x^2+y^2$

---

5. 标定板

• 标定方式
  链接：使用 Matlab 生成双目视差及点云图像

---

&&_参考

链接：4×4齐次矩阵
链接：理解齐次坐标的意义
链接：2D坐标系与3D坐标系的相互转换–python实现
链接：http://www.cse.psu.edu/~rtc12/CSE486/lecture12.pdf
链接：https://cg.informatik.uni-freiburg.de/course_notes/graphics_03_projections.pdf
链接：6.5 矩阵的运算及其运算规则
链接：计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换
链接：相机矩阵(Camera Matrix)
链接：深入解读相机矩阵

---

&&_问题解决