多视图几何(6)_摄像机矩阵P的计算

摄像机矩阵$P$的计算

代数误差

假定$3D$点$X_i$和$2D$图像点$x_i$之间的对应关系已经给定，与$x_i=H{x}_i^{\prime }$类似，由$x_i=P{X}_i$可以推导出一个$2n\times 12$的矩阵$A$，投影矩阵通过$Ap=0$算出，其中$p$是矩阵$P$的元素组成的向量。在面对超定解的时候，在某种归一化配置下最小化残差$\parallel Ap\parallel$被称为代数误差

几何误差

图像点有误差

$x_i$是被测量的点，${\hat{x}}_i$是$X_i$在$P$下的图像点$P{X}_i$。假定世界点$X_i$比图像测量点要准确，几何误差为
$$\sum _{i}d(x_i,{\hat{x}}_i{)}^2=\sum _{i}d(x_i,P{X}_i{)}^2$$

世界点有误差

仅考虑世界点有误差，${\hat{X}}_i$是空间最接近$X_i$并通过$x_i=P{\hat{X}}_i$准确映射到$x_i$的点，几何误差为
$$\sum _{i}d(X_i,\widehat{X_i}{)}^2$$

一般情况

世界和图像点的误差都考虑，几何误差为
$$\sum _{i=1}{d}_{Mah}(x_i,P{\hat{X}}_i{)}^2+d_{Mah}(X_i,{\hat{X}}_i{)}^2$$

代数误差的几何解释

假设$DLT$算法中所有点$X_i$已经归一化使得$X_i=(X_i,Y_i,Z_i,1{)}^T$且$x_i=(x_i,y_i,1{)}^T$。$DLT$算法要最小化的量是${\sum }_i({\hat{w}}_{i}d(x_i,{\hat{x}}_i){)}^2$，其中${\hat{w}}_i({\hat{x}}_i,{\hat{y}}_i,1{)}^T=P{X}_i$，根据图像点的深度公式
$${\hat{w}}_i=\pm \parallel {\hat{p}}^3\parallel depth(X;P)$$
只要对摄像机归一化使得$\parallel {\hat{p}}^3{\parallel }^2=1$，${\hat{w}}_i$就可以解释称点$X_i$沿主射线方向到摄像机的深度。由图可知，${\hat{w}}_{i}d(x_i,{\hat{x}}_i)$正比于$fd(X_i^{\prime },X_i)$，其中$f$是焦距，$X_i^{\prime }$是被映射到$x_i$的点且在过$X_i$并平行于摄像机主平面的平面上。因此最小化的代数误差等价于$f{\sum }_{i}d(X_i^{\prime },X_i{)}^2$

距离$d(X_i,X_i^{\prime })$是需要用于所测量$3D$点的校正，使得其与所测量图像点$x_i$准确对应，限制条件是校正是在垂直于摄像机主轴的方向上进行的。由于这个限制，$X_i^{\prime }$不同于映射到$x_i$并与$X_i$最近的点${\hat{X}}_i$。但当$X_i$离主射线不太远的时候可以近似

仿射摄像机的估计

上面有关摄影摄像机的推导可以直接使用。仿射摄像机是投影矩阵的最后一行为$(0,0,0,1)$的摄像机

受限摄像机的估计

有时需要再满足摄像机参数的某些限制条件下寻找最适配的摄像机矩阵$P$，如$s=0,{\alpha }_x={\alpha }_y$。对应的代价函数可改为
$$\sum _{i}d(x_i,P{X}_i{)}^2+w{s}^2+w({\alpha }_x-{\alpha }_y{)}^2$$
这种软约束可能会有更好的效果

径向失真

理论上线性模型是成像过程的精确模型，但实际上会出现直接被映射为非直线。径向失真发生在世界向图像平面的初始投影中，其后标定矩阵反应图像中仿射坐标的一种选取，它把图像平面的物理位置翻译成像素坐标

将$(\tilde{x},\tilde{y}{)}^T$记为在理想针孔投影下的点
$$(\tilde{x},\tilde{y},1{)}^T=[I\mid 0]X_{cam}$$
径向失真的模型是
$$\left[\begin{array}{c}{x}_d\\ y_d\end{array}\right]=L(\tilde{r})\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right]$$

• $(\tilde{x},\tilde{y})$是理想图像位置
• $(x_d,y_d)$是径向失真后的图像位置
• $\tilde{r}$是到径向失真中心的径向距离$\sqrt{\widetilde x^2 + \widetilde y^2 } $
• $L(\tilde{r})$是一个失真因子，它仅仅是半径$\tilde{r}$的函数

失真校正

$$\begin{gathered} \hat{x}=x_c+L(r)(x-x_c) \\ \hat{y}=y_c+L(r)(y-y_c) \end{gathered}$$

其中，$(x,y)$是测量的坐标，$(\hat{x},\hat{y})$是校正后的坐标，$(x_c,y_c)$是径向失真的中心，$r^2=(x-x_c{)}^2+(y-y_c{)}^2$

失真函数和中心的选择

通过将主点作为径向中心，虽然它们并不一定重合

失真函数仅当$r>0$有定义且$L(0)=1$。通过对其泰勒展开式$L(r)=1+k_{1}r+k_2{r}^2+k_3{r}^3$来近似

径向校正系数 { k 1 , k 2 , k 3 , x c , y c } \{k_1,k_2,k_3,x_c,y_c\} {k1​,k2​,k3​,xc​,yc​}被看成是摄像机内标定的一部分