IPM 鸟瞰图公式转换与推导

0. 前言

逆透视变换（IPM），将相机视角转换成鸟瞰图。其实质是求相机平面与地面的homography矩阵。之前专门有一篇博客来讲《逆透视变换(IPM)多种方式及代码总结》。但是当中还是比较杂乱且没有详细的代码推导的。这篇文章将从三种方式来介绍逆透视变换的三种方法得到homography。这里得到的Homography是可以通过下面的$K_f$转化到现实的坐标系中的。下面的式子为转换矩阵：设 $(u\prime ,v\prime )$表示图像像素坐标系下的点，$(X_w,Y_w,0)$ 表示世界坐标系下地面上的点坐标，$(u,v)$表示俯视图像素坐标点，IPM 假设地面是平坦的。$P$ 为相机内参及外参，$Res$ 为俯视图像素对物理空间尺寸的分辨率，单位为$(meter/pixel)$

$\begin{array}{cc}\left[\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right]& =K_{cam}\frac{1}{Z_{cam}}{T}_{world}^{cam}{\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]}_{world}\\ & =\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\frac{1}{r_{31}X+r_{32}Y+t_z}\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ 0\\ 1\end{array}\right]}_{world}\\ & =\frac{1}{r_{31}X+r_{32}Y+t_z}\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ r_{31}& r_{32}& t_z\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]}_{world}=\frac{Res}{Z_{cam}}P\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\end{array}$

1. IPM 方法一

1. 假设鸟瞰图为像素图，先将像素坐标系转换到物理坐标系下（当前为世界坐标系），变换记为$M(4\ast 3)$
2. 再转换到相机坐标系，变换为$P=[R,t](3\ast 4)$
3. 再转换到相机像素坐标系，变换为 $K(3\ast 3)$

这样转换公式为

上式中$K_f$ 指的鸟瞰图的假想内参，注意上式中用了一个小技巧

写成矩阵形式

那么$K_f$怎么定义呢？$f_x$的定义指的是1m有多少个像素，我们最终生成的鸟瞰图的分辨率，假设1m应该有$r$个点，那么 $f_x=r$，而鸟瞰图的范围为$[w,h]$（单位为m），这样输出的鸟瞰图的分辨率为$[W=wr,H=hr]$ ，这样就有了

由于直接用$K$来生成图像，图像上下是倒的，需要上下flip下，这里推导下上下flip对应的相机内参的变化，下面的$(x,y,z)$ 是为了方便，假设的相机坐标系下的点

转换为相机内参为

2. IPM 方法二

…详情请参照古月居