相机模型-Extended Unified Camera Model

之前讲到了Unified Camera Model模型，该模型是借助于一个虚拟的单位球来模拟相机的畸变，而本文要讲的Extended Unified Camera Model与它十分相似，只是将单位球变成了椭球，这个椭球在光轴方向上的轴长度为1，而平行于像平面的两个轴为对应的模型参数，具体的如下文所讲。

模型介绍

同样我画了一个简易图用来简单地描述一下这个模型，假设椭球面的方程为$\beta (x^2+y^2)+z^2=1$,对于相机坐标系下一点$P(x,y,z)$，将其归一化到椭球平面上得到点$$P_s=(\frac{x}{\sqrt{\beta (x^2+y^2)+z^2}},\frac{y}{\sqrt{\beta (x^2+y^2)+z^2}},\frac{z}{\sqrt{\beta (x^2+y^2)+z^2}})$$同样，可以找到一个以虚拟光心（与原光心只存在光轴上的平移,设平移量为 $\xi$）为原点的虚拟相机坐标系，那么此时$P_s$在虚拟相机坐标系下的坐标变为$$P_s^{\prime }=(\frac{x}{\sqrt{\beta (x^2+y^2)+z^2}},\frac{y}{\sqrt{\beta (x^2+y^2)+z^2}},\frac{z}{\sqrt{\beta (x^2+y^2)+z^2}}+\xi )$$投影到像平面中,可以得到归一化到焦平面上的点坐标为$$p_d=(\frac{x}{z+\xi \sqrt{\beta (x^2+y^2)+z^2}},\frac{y}{z+\xi \sqrt{\beta (x^2+y^2)+z^2}},1)$$

上述过程就是改模型的投影过程，然后来看一下反投影过程，同样假设在$O{P}_s$上存在一点$P_s^{\prime }=(x_d,y_d,z^{\prime })$，该点投影到归一化焦平面上时与$P_s$对应的时同一个点，从而可以得到$$z^{\prime }+\xi \sqrt{\beta (x_d^2+y_d^2)+z^{\prime 2}}=1$$

syms r xi z b
solve(z + xi * sqrt(z^2 + b * r^2) == 1, z)

$$z^{\prime }=\frac{\xi \sqrt{1+\beta r^2(1-{\xi }^2)}-1}{{\xi }^2-1}$$

投影过程

1. 设相机坐标系下一点$P_c=(x_c,y_c,z_c)$,将其归一化到椭球面上 $P_s=(x_s,y_s,z_s)=(\frac{x_c}{\rho },\frac{y_c}{\rho },\frac{z_c}{\rho })$，其中$\rho =\sqrt{\beta (x_c^2+y_c^2)+z_c^2}$。
2. 转换到虚拟像平面上得到$p=(x_p,y_p,1)=(\frac{x_s}{z_s+\xi \rho },\frac{y_s}{z_s+\xi \rho },1)$ 。
3. 对$p$添加畸变（参考针孔模型加畸变），得到$p_d=(x_d,y_d,1)$，该步骤是可选项。
4. 得到像素坐标$u=f_x{x}_d+cx,v=f_y{y}_d+cy$。

反投影过程

1. 设图像上某个点 p = (u, v);
2. 得到归一化焦平面上坐标$p_d=(\frac{u-cx}{f_x},\frac{u-cy}{f_y},1)$.
3. 进行去畸变处理，可参考针孔相机模型去畸变，得到$p_{u}d=(x_{ud},y_{ud},1)$ 。
4. 转换到相机坐标系下$P_c=(x_{ud},y_{ud},\frac{\xi \sqrt{1+\beta r^2(1-{\xi }^2)}-1}{{\xi }^2-1})$,其中，$r^2=x_{ud}^2+y_{ud}^2$。
5. 归一化到椭球面上。

雅可比计算

感兴趣的可以参考之前的一些相机模型中介绍的方法，我实在时不想编辑公式了。