【相机标定】多相机无交叠视域图像拼接

一、背景介绍

在工业定位场景中，常常存在多个无交叠视域的摄像头，对某一个平面下的物体进行定位测量。如何求解这些无交叠视野的摄像机的图像相对位置关系对于目标定位十分重要。这里借助ChAuco标定板建立世界坐标系，进而求解多个相机相对主相机的转换关系。
在实际场景中很难通过两个相机的世界坐标到像素坐标的投影矩阵 $H_1$, $H_2$。一个简单的方法是，在求得$H_1$ 和 $H_2$ 后可以构造一批世界坐标点$P_w$ 分别将其投影到像素平面A ， 和像素平面B 。 得到$P_a^{\prime }$ 和 $P_b^{\prime }$ 再求 $P_a^{\prime }$ 和 $P_b^{\prime }$ 的投影矩阵$H_{ba}$。 这样就可以简单的求出二者的转换关系。

一、原理

1. 世界坐标和像素坐标的转换

由于在工业场景中，待测量的目标常常处于同一个平面，在建立世界坐标系时，认为ChAuco标定板的Z轴坐标为1。则可以得到 图像坐标系的点：$P_{\text{i}}=[u,v,z_i{]}^{\top }$ 和 世界坐标系的点：$P_{\text{w}}=[x,y,1{]}^{\top }$的转换关系如下：
$$s_i\ast \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=H_{\text{iw}}{P}_{\text{w}}\text{\hspace{1em}(1.1)}$$

像素坐标到世界坐标系下的转换：
$$P_w=s_i\ast H_{iw}^{-1}{P}_{\text{i}}\text{\hspace{1em}(1.2)}$$
此处的$H_{\text{iw}}$ 可以使用OpenCV的 Cv2.FindHomography API 求出。

2. FindHomography

寻找两个平面的单应矩阵
OpenCV 4.6.0 FindHomography官方文档

Mat cv::findHomography	(	InputArray 	srcPoints,
InputArray 	dstPoints,
int 	method = 0,
double 	ransacReprojThreshold = 3,
OutputArray 	mask = noArray(),
const int 	maxIters = 2000,
const double 	confidence = 0.995 
)	

具体参数，参照官方文档。这个函数返回一个源平面和目标平面的投影变换矩阵$H$：
$$s_i\left[\begin{array}{c}{x}_i^{\prime }\\ y_i^{\prime }\\ 1\end{array}\right]\sim H\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]\text{\hspace{1em}(2.1)}$$
优化过程为最小化反向投影误差，反向投影误差为：
$$\sum _i[(x_i^{\prime }-\frac{h_{11}{x}_i+h_{12}{y}_i+h_{13}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}{)}^2+(y_i^{\prime }-\frac{h_{21}{x}_i+h_{22}{y}_i+h_{23}}{h_{31}{x}_i+h_{32}{y}_i+h_{33}}{)}^2]\text{\hspace{1em}(2.2)}$$

3. Z_i 的求解

$z_i$ 是从世界坐标投影到像素坐标的Z 坐标，在图像中，需要将Z坐标归一化得到像素坐标。
观察矩阵的计算，设
$$H_{\text{iw}}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\text{\hspace{1em}(3.1)}$$
则有：
$$s_i\left[\begin{array}{c}{x}_i^{\prime }\\ y_i^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
可以得到：
$$s_i=h_{31}\ast x+h_{32}\ast y+h_{33}\text{\hspace{1em}(3.2)}$$

4. 多相机像素坐标相对关系

4.1 像素坐标相对关系

设有相机A、B，求解相机B的像素坐标到相机A的转换关系。则对于世界坐标系下的点$P_w$在相机A、B下的的像素坐标分别为：
$$\begin{array}{rl}{s}_{ia}\ast P_{ia}=& H_{\text{iwa}}\ast P_w\\ z_{ib}\ast P_{ib}=& H_{\text{iwb}}\ast P_w\end{array}\text{\hspace{1em}(3.1)}$$
则 $P_{ia}$ 和 $P_{ib}$ 的转换关系为：
$$P_{ia}=\frac{s_{ib}}{s_{ia}}{H}_{\text{iwa}}{H}_{\text{iwb}}^{-1}{P}_{ib}\text{\hspace{1em}(4.2)}$$

由(3.2) 可以计算尺度系数 $s_i$ ,但是这个方式是从世界坐标到图像坐标，我们在此处更希望利用图像坐标得到 $s_i$。我们这里有：
$$\begin{array}{rl}{P}^{\prime }=& \frac{1}{s_i}H{P}_w\\ \frac{1}{s_i}{P}_w=& H^{-1}{P}^{\prime }\end{array}\text{\hspace{1em}(4.3)}$$
同理我们可以得到 $\frac{1}{s_i}$:
$$\begin{array}{rl}\frac{1}{s_i}=& h_{31}^{-1}\ast x^{\prime }+h_{32}^{-1}\ast y^{\prime }+h_{33}^{-1}\\ s_i=& \frac{1}{h_{31}^{-1}\ast x^{\prime }+h_{32}^{-1}\ast y^{\prime }+h_{33}^{-1}}\end{array}\text{\hspace{1em}(4.4)}$$

有了以上的内容，我们就可以得出相机坐标$b$到$a$的投影变换矩阵$H_{ab}$了：
$$H_{ab}=H_a{H}_b^{-1}$$
这种方式仍然难以将两个像素坐标系的转换关系统一到同一个矩阵。

4.2 直接计算像素平面的转换关系

在4.1 中可以看出，我们很难通过两个投影矩阵 $H_1$, $H_2$，直接得到两个像素平面的转换关系，究其原因还是在尺度因子难以归结到变换矩阵中。一个更简单的方法是，在求得$H_1$ 和 $H_2$ 后可以构造一批世界坐标点$P_w$ 分别将其投影到像素平面A ， 和像素平面B 。 得到$P_a^{\prime }$ 和 $P_b^{\prime }$ 再求 $P_a^{\prime }$ 和 $P_b^{\prime }$ 的投影矩阵$H_{ba}$。 这样就可以简单的求出二者的转换关系。

二、 实验结果