鱼眼相机模型

1鱼眼相机模型

设$f$为焦距，$\theta$为光线与光轴的夹角，$r$为像点到图像坐标系原点的距离。
则对于针孔相机模型有：
$r=ftan\theta$
鱼眼相机模型通常有四种
（1）等距投影
$r=f.\theta$
(2)等立体角投影
$r=2f.sin(\frac{\theta }{2})$
(3)正交投影
$r=f.sin\theta$
(4)体视投影
$r=2f.tan(\frac{\theta }{2})$
对于畸变改正，应用Kannala-Brandt 模型，则上面四种投影方式会得到相同的改正形式,改正后的${\theta }_d$：
$${\theta }_d=k_0.\theta +k_1.{\theta }^3+k_2.{\theta }^5+k_3.{\theta }^7+...$$
最常用的为等距投影模型。

2鱼眼等距投影坐标计算

假设相机坐标系为$O_c{X}_c{Y}_c{Z}_c$,图像坐标系为$xoy$,物体在相机坐标系下的坐标为$P（x,y,z），p_1$（黑色点）为针孔相机投影到图像平面的点，$p_2$(红色点)为鱼眼相机等距投影点，$r_1(o{p}_1),r_2(o{p}_2)$分别为针孔模型、鱼眼模型的像点到图像坐标系原点的距离,P’为P在相机坐标系$O_c{X}_c{Y}_c$的投影。
（1）解算$\theta$

计算方式1：，则$\theta =arctan((x^2+y^2{)}^{0.5}/z)$。
计算方式2：对xy进行归一化，令$a=x/z,b=y/z,R^2=a^2+b^2,\theta =arctan(R)$。
两种方法等效。
（2）计算图像坐标
对于针孔模型而言，光束是沿直线传播的，即$P,Oc,p1$三点共线。所以:有三角形$O_{c}P{P}^{\prime }$相似于三角形$O_c{p}_{1}o$,所以：向量$p^{\prime }{O}_c$平行于向量$o{p}_1$，所以：二者与y轴的夹角相等，记为$\beta$。在相机坐标系中有$sin(\beta )=a/R$。在图像坐标系中，有$sin(\beta )=x_1/r_1=x_2/r_2$。所以鱼眼相机的图像坐标:
$$\begin{gathered} x_2=a.r_2/R \\ {y}_2=b.r_2/R \end{gathered}$$
a,b,R可以根据坐标和计算出来，现在的问题是怎么求解$r_2$？
针对等距模型而言:$r=f.\theta$,这里不妨让$f=1$，则$r=\theta =arctan(R)$，所以对于等距模型而言，其畸变改正后的图像坐标为：
$$\begin{gathered} x_2=a.{\theta }_d/R \\ {y}_2=b.{\theta }_d/R \end{gathered}$$
像素坐标系下坐标为：
$$\begin{gathered} u=f_x(x_2+\alpha .y_2)+cx \\ v=f_y.y_2+cy \end{gathered}$$
$f_x,f_y$为焦距，$\alpha$为扭曲系数（不太理解这里为什么引入这个参数）,$cx,cy$为像主点坐标。

3鱼眼相机标定

opencv提供了两种模型的标定方法
CMei模型，位于cv::omnidir命名空间中
以及Kannala模型，位于cv::fisheye命名空间。
此外matlab也提供了基于CMei模型的标定方法。
参考：
opencv文档
1
2
球面投影
CMei模型：《Single View Point Omnidirectional Camera Calibration from Planar Grids》
《A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses》
《车载鱼眼相机自标定研究》–石恬