单张影像外定向的线性方法-Direct Linear Transformation

单张影像外定向的线性方法-Direct Linear Transformation

1.模型

DLT方法基于共线方程，利用图像坐标系下的放射变换进行延展，不需要固定的图像坐标系。也就是说处于一种不固定的状态下。
$$\begin{gathered} x=\frac{L_{1}X+L_{2}Y+L_{3}Z+L_4}{L_{9}X+L_{10}+L_{11}Z+1} \\ y=\frac{L_{5}X+L_{6}Y+L_{7}Z+L_8}{L_{9}X+L_{10}+L_{11}Z+1} \end{gathered}$$
其中$x$和$y$分别为图像坐标系下的点位坐标；$X,Y,Z$则是对应点在三维空间坐标系下的坐标。$L_1-L_{11}$是DLT方法的参数，需要被最小二乘法进行确定。利用这11个参数可以确定3个内方位元素($x_0$,$y_0$,$c$)和6个外方位元素($X_0$,$Y_0$,$Z_0$,$\varphi$,$\omega$,$\kappa$)。

将上方公式变形为线性形式，则有：
$$\begin{gathered} L_{1}X+L_{2}Y+L_{3}Z+L_4-x{L}_{9}X-x{L}_{10}Y-x{L}_{11}Z-x=0 \\ {L}_{5}X+L_{6}Y+L_{7}Z+L_8-y{L}_{9}X-y{L}_{10}Y-y{L}_{11}Z-y=0 \end{gathered}$$
采用最基础的间接平差方式进行计算，平差模型为：
$$\begin{gathered} v=A\cdot \hat{x}-l \\ A=\left[\begin{array}{c}{X}_1{Y}_1{Z}_{1}10000-x_1{X}_1-x_1{Y}_1-x_1{Z}_1\\ 0000X_1{Y}_1{Z}_{1}1-y_1{X}_1-y_1{Y}_1-y_1{Z}_1\\ X_2{Y}_2{Z}_{2}10000-x_2{X}_2-x_2{Y}_2-x_2{Z}_2\\ 0000X_2{Y}_2{Z}_{2}1-y_2{X}_2-y_2{Y}_2-y_2{Z}_2\\ ⋮⋮⋮⋮⋮⋮⋮⋮⋮\end{array}\right] \end{gathered}$$
此方法最小需要6组同名点。

2.参数$L_1-L_{11}$与内外方位元素之间的转换关系

$$\begin{gathered} 令L=\frac{-1}{\sqrt{L_9^2+L_{10}^2+L_{11}^2}} \\ 主点坐标（投影重心在图像上的坐标位置）： \\ {x}_0^{{}^{\prime }}=-L^2\cdot (L_1\cdot L_9+L_2\cdot L_{10}+L_3\cdot L_{11}) \\ {y}_0^{{}^{\prime }}=-L^2\cdot (L_5\cdot L_9+L_6\cdot L_{10}+L_7\cdot L_{11}) \end{gathered}$$
$$\begin{gathered} 主距： \\ {c}_x=-\sqrt{L^2\cdot (L_1^2+L_2^2+L_3^2)-x_0^{{}^{\prime }2}} \\ {c}_y=-\sqrt{L^2\cdot (L_5^2+L_6^2+L_7^2)-y_0^{{}^{\prime }2}} \\ 旋转矩阵R上各个位置的值： \\ {r}_{11}=\frac{L\cdot (x_0^{{}^{\prime }}\cdot L_9-L_1)}{c_x}{r}_{12}=\frac{L\cdot (y_0^{{}^{\prime }}\cdot L_9-L_5)}{c_y}{r}_{13}=L\cdot L_9 \\ {r}_{21}=\frac{L\cdot (x_0^{{}^{\prime }}\cdot L_{10}-L_2)}{c_x}{r}_{22}=\frac{L\cdot (y_0^{{}^{\prime }}\cdot L_{10}-L_6)}{c_y}{r}_{23}=L\cdot L_{10} \\ {r}_{31}=\frac{L\cdot (x_0^{{}^{\prime }}\cdot L_{11}-L_3)}{c_x}{r}_{32}=\frac{L\cdot (y_0^{{}^{\prime }}\cdot L_{11}-L_7)}{c_y}{r}_{33}=L\cdot L_{11} \end{gathered}$$

在计算R矩阵的过程中，可能会导致R的行列式为负数的情况，必须进行检查，如果为负，则要乘上一个-1，然后还要进行正交标准化。
$$\begin{gathered} 平移参数的确定: \\ \left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]={\left[\begin{array}{c}{L}_1{L}_2{L}_3\\ L_4{L}_5{L}_6\\ L_7{L}_8{L}_9\end{array}\right]}^{-1}\cdot \left[\begin{array}{c}{L}_4\\ L_8\\ 1\end{array}\right] \end{gathered}$$

3.DLT方法的缺点

如果内方位元素未知，则DLT模型将会增加很多参数；

如果参考点位位于一个近似平面上，则最上方共线方程的分母接近于0；

DLT方法无法探测到点位的相坐标和对应地面坐标的测量误差，所以可能得到错误的结果。

需要同名点的点数要大于6，有些苛刻。

4.注意事项

由共线方程到线性方程的过程一定要自己推导一边，将里面的细节弄清楚。

这里面的$x_0,y_0,z_0$是地物系下，投影中心的坐标，也就是属于外方位元素，并且此种的$d/{\lambda }_x$就是对应书中的$c_x^{{}^{\prime }}$，并且$d$是焦距。图像上的点$Z$方向坐标都为$-d$，$c$是一个比例，共线方程上，线段之间成比例。

而网站上的一些模型，容易与坐标转换混淆，

这个模型中，$Z_C$移到右边放置到$f$的下边，也即$\frac{f}{Z_C}$就是共线方程上，两段线段的比例$c$，实际上此中$u_0,v_0$与上面模型种的$u_0,v_0$符号相反，但由于$f$一般取正数，$\frac{1}{dx}、\frac{1}{dy}$对应$\frac{1}{{\lambda }_x}、\frac{1}{{\lambda }_y}$互为相反数，而相机世界里面的$t=[X_0,Y_0,Z_0{]}^{\prime }$则并非外方位元素，因为它的几何意义是地物系原点在图片坐标系下的坐标，所以只有利用旋转矩阵$R^T$进行处理后$R^T\cdot t$才是外方位元素中的位移元素，$R$直接对应于从地物系到相片坐标系的旋转矩阵。这个模型在应用的过程中，由于系数矩阵对应于，所以可以直接将坐标矩阵变形成：
$$[R,t]={\left[\begin{array}{c}\frac{f}{d_x}0u_0\\ 0\frac{f}{d_x}{v}_0\\ 001\end{array}\right]}^{-1}\cdot \left[\begin{array}{c}{L}_1{L}_2{L}_3{L}_4\\ L_5{L}_6{L}_7{L}_8\\ L_9{L}_{10}{L}_{11}1\end{array}\right]\cdot \sqrt{L_9^2+L_{10}^2+L_{11}^2}$$
这里需要注意，这里之所以要成一个根号下，是为了使$L_{12}$位置处为1，$t$获取后要经过$R^T$去旋转，而$f/d_x、f/d_y$的计算可以根据

但由于这个地方的计算方式对应的是第一种模型，所以正负号要做调整，具体过程一定要自行推到，对应出相应的值。

5.编程实现

编程实现了DLT的11参数确定。

编程实现了DLT的16参数确定。

DLT直接线性变换法(Direct Linear Transformation)实现相机外定向和相机标定

6.参考

(3条消息) C++/opencv实现DLT（直接线性变换法）标定相机_々云逸的博客-CSDN博客_opencv相机标定c++

DLT Method (kwon3d.com)