【相机标定】多相机相对位姿转换

Dovake

已于 2024-05-15 23:10:35 修改

阅读量1.1k

点赞数

分类专栏：计算机视觉算法文章标签：计算机视觉人工智能

于 2022-12-29 16:59:17 首次发布

本文链接：https://blog.csdn.net/qq_30340349/article/details/128484312

版权

计算机视觉算法专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、世界坐标到图像坐标

1. 相机外参

$\begin{bmatrix} X_c \\ Y_c \\ Z_c \\ 1 \end{bmatrix} = \begin{bmatrix} R & t \\ 0 & 1 \end{bmatrix} \begin{bmatrix} X_w \\ Y_w \\ Z_w \\ 1 \end{bmatrix} \tag{1.1}$

$\begin{align*} E =& \begin{bmatrix} R & T \\ 0 & 1 \end{bmatrix} \\ E^{-1} =& \begin{bmatrix} R^{\top} & -R^{\top}T \\ 0^{ \top} & 1 \end{bmatrix} \end{align*} \tag{1.2}$

2. 小孔成像模型

相机可以抽象为最简单的形式：一个小孔和一个成像平面，小孔位于成像平面和真实的三维场景之间，任何来自真实世界的光只有通过小孔才能到达成像平面。因此在成像平面和通过小孔看到的真实三维场景存在着一种对应关系，也就是图像中的二维像素点和真实三维世界的三维点存在某种变换关系。找到这种变换关系，就可以利用图像中的二维信息点来回复三维信息。

在这里插入图片描述
小孔成像实际就是将相机中的三维点变换到成像平面中图像坐标系中的二维点。假设，三维空间中点P，其在相机坐标系下坐标为： $P_c = [X,Y,Z]^{\top}$ 其像点 $y]^{\top}$ 由相似三角形原理得到：
$\frac{Z}{f}=\frac{X}{x}=\frac{Y}{y} \tag{1.3}$
$\begin{align*} x = f\frac{X}{Z} \\y = f\frac{Y}{Z} \end{align*} \tag{1.4}$

3. 相机内参

机内参由下面的两部分组成：

射影变换本身的参数，相机的焦点到成像平面的距离，也就是焦距 $f$
从成像平面坐标系到像素坐标系的变换。上面推导中使用的像点 $p=[x,y]^{\top}$ 是成像平面坐标系下，以成像平面的中心为原点。而实际像素点的表示方法是以像素来描述的，坐标原点通常是图像的左上角，X轴水平向左，Y轴竖直向下。像素是一个矩形块，这里假设水平和数值方向的长度为： $\alpha$ 和 $\beta$ .所以像素坐标和成像平面坐标之间，相差了一个缩放和原点的平移。其公式如下：
$\begin{align*} u &= \alpha x + c_x \\ v &= \beta x + c_y \end{align*} \tag{1.5}$

$\begin{align*} f_x =& \alpha f \\ f_y =& \beta f \end{align*} \tag{1.6}$
结合（3）~（5）从相机坐标到像素坐标的转换关系为：
$\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \frac{1}{Z_c} \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X_c \\ Y_c \\ Z_c \\ \end{bmatrix} \tag{1.7}$
通过上面的推导就得到了相机的内参矩阵(Cammera Intrinsics) K:
$\begin{align*} K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix} \\ K^{-1} = \begin{bmatrix} \frac{1}{f_x} & 0 & \frac{c_x}{f_x} \\ \\ 0 & \frac{1}{f_y} & \frac{c_y}{f_y} \\ \\ 0 & 0 & 1 \end{bmatrix} \end{align*} \tag{1.8}$

fx,fy 和相机的焦距，像素当量大小有关
cx,cy 是平移距离，和相机成像平面的大小有关

4. 从世界坐标系到图像坐标系

$Z_c\begin{bmatrix} u \\ v \\ 1 \end{bmatrix}= \begin{bmatrix} \alpha&0&c_x\\ 0&\beta&c_y\\ 0&0&1 \end{bmatrix} \begin{bmatrix} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{bmatrix} \begin{bmatrix} R & t \\ 0 & 1 \\ \end{bmatrix} \begin{bmatrix} X_w \\ Y_w \\ Z_w \\ \end{bmatrix} \tag{1.9}$
$\frac{1}{Z_c}[K|0][R|T]P_w \tag{1.10}$

5. 多相机的相对位姿

$\begin{align*} p_a =& \frac{1}{Z_{ca}}[K|0][R_a|T_a]P_w \\ p_b =& \frac{1}{Z_{cb}}[K|0][R_b|T_b]P_w \end{align*} \tag{1.11}$
$P_w = Z_{cb}[R_b|T_b]^{-1}[K^{-1}|0]p_b \tag{1.12}$

可以得到相机B的图像坐标到相机A的图像坐标：
$p_a = [R_a|T_a][R_b|T_b]^{-1} \begin{bmatrix} K_{11}^{-1} & K_{12}^{-1} & K_{13}^{-1} \\ \\ K_{21}^{-1} & K_{22}^{-1} & K_{23}^{-1} \\ \\ K_{31}^{-1} & K_{32}^{-1} & K_{33}^{-1} \\ \\ 0 & 0 & \frac{1}{Z_{cb}} \end{bmatrix} p_b \tag{1.13}$
令： $M_{ab}$ 为相机b 到相机 a 的相机外参转换关系即：相机的相对位姿。则有：
$\begin{align*} M_{ab} =& [R_a|T_a][R_b|T_b]^{-1} \\ \end{align*} \tag{1.14}$

则从相机B的像素坐标的点到相机A像素坐标系的点的映射关系为：
$\begin{align*} p_a =& \frac{Z_{cb}}{Z_{ca}}[K_a|0]M_{ab} \begin{bmatrix} K_{11}^{-1} & K_{12}^{-1} & K_{13}^{-1} \\ \\ K_{21}^{-1} & K_{22}^{-1} & K_{23}^{-1} \\ \\ K_{31}^{-1} & K_{32}^{-1} & K_{33}^{-1} \\ \\ 0 & 0 & \frac{1}{Z_{cb}} \end{bmatrix}p_b \end{align*} \tag{1.15}$

二、相机畸变模型

1. 径向畸变

[图片]
实际情况中我们使用 $r = 0$ 处的泰勒展开的前几项来近似描述径向畸变，径向畸变后的归一化坐标为：
$\begin{align*} \begin{cases} x_{\text{distorted}} = x(1 + k_1r^2 + k_2r^4 + k_3r^6)\\ y_{\text{distorted}} = y(1 + k_1r^2 + k_2r^4 + k_3r^6) \end{cases} \end{align*} \tag{2.1}$

2. 切向畸变

在这里插入图片描述
切向畸变是由于透镜的安装位置误差即：相机的组装过程中由于不能使得透镜和成像平面严格平行，切向畸变需要两个额外的畸变参数来描述，切向畸变后的归一化坐标为：

$\begin{cases} x_{\text{distored} = x + 2p_1xy + p_2(r^2 +2x)} \\ y_{\text{distored} = y + 2p_2xy + p_1(r^2 +2x)} \end{cases} \tag{2.2}$

3. 相机畸变模型

令 $r^2 = x^2 + y^2$ 。对于相机坐标系中的一点 $P$ ，我们能够通过5个畸变系数找到这个点在像素平面上的正确位置：
$\begin{cases} x_{\text{distored} = x(1+ k_1r^2+k_2r^4 + k_3r^6) + 2p_1xy + p_2(r^2 +2x)} \\ y_{\text{distored} = y(1+ k_1r^2+k_2r^4 + k_3r^6) + 2p_2xy + p_1(r^2 +2x)} \end{cases} \tag{2.3}$