相机知识整理

相机知识整理

坐标系之间的关系

世界与相机

核心:旋转平移;旋转使得坐标轴重合,平移使得原点重合

表示方式:非齐次形式

{\begin{bmatrix} X_C\\ Y_C\\ Z_C\\ \end{bmatrix}} = R {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ \end{bmatrix}} + t = {\begin{bmatrix} r_{11}&r_{12}&r_{13}\\ r_{21}&r_{22}&r_{23}\\ r_{31}&r_{32}&r_{33}\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ \end{bmatrix}} + t

齐次表示:

{\begin{bmatrix} X_C\\ Y_C\\ Z_C\\ 1\\ \end{bmatrix}} = {\begin{bmatrix} R&t\\ 0^T&1\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ 1\\ \end{bmatrix}} = {\begin{bmatrix} r_{11}&r_{12}&r_{13}&t_x\\ r_{21}&r_{22}&r_{23}&t_y\\ r_{31}&r_{32}&r_{33}&t_z\\ 0&0&0&1\\ \end{bmatrix}} {\begin{bmatrix} X_w\\ Y_w\\ Z_w\\ 1\\ \end{bmatrix}}

其中R为3*3的单位正交阵。列向量r_{i}模长为1,且相互正交。

\begin{cases} |r_{i}| = 1,i = 1,2,3\\ {r_{i}}^T * r_j = 0, i\neq{j}\\ \end{cases}

相机与图像

核心:透视。线性投影,使用齐次空间可以帮助理解。计算关系是利用空间中的相似三角形进行计算的。

  \begin{cases} x_u = fX_c/Z_c\\ y_u = fY_c/Z_c\\ \end{cases}              {\begin{bmatrix} X_c\\ Y_c\\ Z_c\\ \end{bmatrix}} {\begin{bmatrix} x\\ y\\ f\\ \end{bmatrix}}         

以齐次坐标的形式表示有:

Z_{c}\left[\begin{array}{c} x_{u} \\ y_{u} \\ 1 \end{array}\right]=\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{array}\right]

图像与像素

核心:放缩平移

放缩:由于像素点是离散的,而一个像素点在物理空间上的尺寸是dx * dy(mm)。

平移:是由于图像平面和像平面的坐标原点不一样。

关系如下:

\left\{\begin{array}{l} u=\frac{x_{u}}{d_x}+u_{0} \\ v=\frac{y_{u}}{d_y}+v_{0} \end{array}\right.

图像转换到像素时,/dx或者/dy,并去中心化(-u0,-v0)

齐次坐标的表示:

\left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d_x} & 0 & u_{0} \\ 0 & \frac{1}{d_y} & v_{0} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{c} x_{u} \\ y_{u} \\ 1 \end{array}\right]

双目相机之间的关系

双目相机之间的关系是经过旋转和平移后对准的[R|t],特殊的在平行的双目情况下一般以左相机坐标作为系统坐标。例如左相机作坐标(xl,yl,z),右相机坐标(xr,yr,z),那么xr-xl = b(基线长度);比如左边的圆点在右边坐标系中为(-b,0,0)。

总结

Z_{C}\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d x} & 0 & u_{0} \\ 0 & \frac{1}{d y} & v_{0} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{cccc} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} R & t \\ 0^{T} & 1 \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \\ 1 \end{array}\right]

=\left[\begin{array}{cccc} f_{x} & 0 & u_{0} & 0 \\ 0 & f_{y} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} \mathbf{R} & \mathbf{t} \\ \mathbf{0}^{\mathrm{T}} & \mathbf{1} \end{array}\right]\left[\begin{array}{c} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{array}\right]=\mathbf{M}_{1} \mathbf{M}_{2} \widetilde{P}=\mathbf{M}_{34} \widetilde{P}

需要注意的是:fx = f/dx;fy = f/dy;还有内参矩阵最后一列全为零的补位。

相机标定

标定参数:内参(fx,fy,u0,v0),外参(R,t),畸变(径向畸变系数k1,k2;切向畸变系数p1,p2)【一般考虑相机的径向畸变就可以了,引入过多的非线性参数往往不能提高标定精度】

思想:利用平面板(Z = 0)进行标定,将求解A*[R|t]转化为求解单应性矩阵H,再利用单应性矩阵求解参数。

求解单应性矩阵至少需要4对点(知道对应点之间的关系),而由单应性矩阵H分解出参数需要至少3张图

尺度约束条件:R为3*3的单位正交阵。1.列向量r_{i}模长为1;2.且相互正交

无畸变

有畸变的标定

以无畸变的参数作为初值进行优化

三维重建

1.射线交汇法

2.非平行三角测量

3.平行三角测量

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值