本文主要介绍多视几何的一些概述
首先介绍单视的情况,从空间三维点经过世界到相机坐标系的转换,以及透视投影和相机的镜头畸变得到最终的2D点。前者称为外参数,后者成为内参数,两者的乘积称为camera matrix相机矩阵。内参数主要为焦距,主点,skew。畸变参数的主要成分为径向畸变,一般到第一项就可以。外参数中旋转矩阵满足单位正交性质,这些性质在标定相机内外参数时会用到。
相机标定
camera matrix的估计
在[张正友](research.microsoft.com/en-us/um/people/zhang/Papers/TR98-71.pdf
)的文章中给出了一种使用最大似然估计的方法。最小化重建误差,参数是一个3x4的矩阵拉成的向量。文章中给出了迭代初始值的估计方法(最小二乘),根据外参数矩阵的旋转矩阵的单位正交性质可以得到3个约束。所以至少需要3张图像才能计算出camera matrix,另外由于是使用的平面标定板,矩阵变为9个参数。
这里已经涉及相机的标定问题,相机的标定问题是一个经典问题,出现了很多方法,其中使用棋盘格zhangzhengyou的方法应用最为广泛。如果只是估计相机的部分参数,如只估计内参数。这样会涉及到另外的问题,如消失点,消失线等的计算。
内外参数标定
zhang方法主要分为四步
- 提取特征点,得到特征点的2D图像点和3D空间点的坐标
- 使用点对估计单应矩阵,由此可以得到不考虑畸变参数的相机内外参数。
- 内外参数的初始值计算畸变参数的初始值。
- 使用非线性优化方法迭代优化内外参数和畸变参数直到收敛。
对偶几何
二维空间
在二维空间中使用齐次表示,线和点对偶的,二次曲线的对偶仍是二次曲线,二次曲线的方程可用一个矩阵的二次型表示。如果矩阵是满秩的,那么是一个二次曲线,如果秩为1那么退化为2条曲线,如果秩为1那么退化为1条直线。线和点使用一个向量表示,二次曲线为一个对称矩阵。两条直线的叉乘为2直线的交点,两个点的叉乘为经过两点的直线。
Duality principle. To any theorem of 2-dimensional projective geometry there corresponds a dual theorem, which may be derived by interchanging the roles of points and lines in the original theorem.
理解对偶几何之后可以更好的理解消失点和消失线。
三维空间
三点确定一个面,三面确定一个点。
变换
透视投影的不变性
- 直线不变形,经过透视变换,直线保持为直线。
- 交比不变性。经过透视变换的直线保持交比大小不变。
分类
按照变换中不变形的保持,分为几类
- 欧式变换
- 各向同应变换
- 相似变换
- 仿射变换
The affine matrix A is hence seen to be the concatenation of a rotation (by φ); a
scaling by λ 1 and λ 2 respectively in the (rotated) x and y directions; a rotation back
(by −φ); and finally another rotation (by θ).
- 透视变换
各变换保持的性质(二维变换)
(三维变换)
矩阵
单应矩阵
如果3D点位于同一个平面上,那么该平面上的点和图像的点存在对应关系,也就是单应矩阵homography matrix。对于同一个平面的点,同样的不同视角下的图像的对应关系也是单应矩阵。单应矩阵的估计最常用的方法成文DLT,DLT中最小一个误差函数(costfunction),一种cost函数是使用代数误差,齐