双目相机标定及基础

1 图像、相机、世界坐标关系

1.1 图像坐标系$(u,v)$

固定在图像上以像素为单位的平面直角坐标系， 通常以图像左上角为像素原点，每一像素的$(u,v)$分别表示该像素在图像数组中的列数和行数。

1.2 成像平面坐标系$(x,y)$

光轴与成像平面交点，称为主点。成像平面坐标系以主点为原点，是以物理单位表示的平面直角坐标系。$dx,dy$ 分别表示单个图像像素点在成像平面的物理尺寸。
$$\begin{gathered} u=\frac{x}{dx}+u_0 \\ v=\frac{y}{dy}+v_0 \end{gathered}$$
齐次坐标与矩阵表示方法：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& -u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

1.3 相机坐标系

$(X_c,Y_c,Z_c)$：以针孔模型的聚焦中心$O$（光心）为原点，摄像机光轴为 Z 轴建立三维坐标系，光心到图像平面的距离为有效焦距$f$。

1.4 世界坐标系

$(X_w,Y_w,Z_w)$：在环境中由用户任意选择一个基准坐标系作为参考来描述摄像机位置，在相机标定中一般选择标定板坐标系作为世界坐标系。

$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$

![在这里插入图片描述]() ## 针孔模型 实际在相机坐标系下的点表示为成像平面的点 $$ x=\frac{fX_c}{Z_c} \\y=\frac{fY_c}{Z_c} $$ 齐次坐标关系表示为： $$ Z_c{\left[ \begin{array}{ccc} x \\ y \\1 \end{array} \right ]}= {\left[ \begin{array}{ccc} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0\\ \end{array} \right ]} {\left[ \begin{array}{ccc} x \\ y \\1 \end{array} \right ]} $$

通过坐标转换，知道$(u,v)$可知道$(x,y)$

2 相机标定

2.1 单个相机标定

• 由第一部分可知，是事实上，$R,f,t$等都是由于相机自身的因素产生的，在相机标定中，就是通过一系列的拍摄标准图像来求解其值。
• 此外，相机还有由于镜头的成像产生的各种图像畸变问题，也需要标定矫正。

2.2 立体相机标定

同一个点在两个相机下的坐标(由世界坐标变换)为：
$$\begin{gathered} x_{c}1=R_1{x}_w+t_1 \\ {x}_{c}2=R_2{x}_w+t_2 \end{gathered}$$
消去$x_w$得到两相机间的关系
$$\begin{gathered} x_{c}1=R_1{R}_2^{-1}{x}_{c2}+t_1-R_1{R}_2^{-1}{t}_2 \\ (x=Rx+t) \end{gathered}$$

2.3 手眼标定

eye to hand，眼在手外。这种关系下，两次运动，机器人末端和标定板的位姿关系始终不变。求解的量为相机和机器人底座坐标系之间的位姿关系。

即求$AX=XB$的问题

参考

1.《计算机视觉——计算理论与算法基础》，张正友；
2. 相机标定、手眼标定（理论篇）
3. 相机标定与手眼标定小记
4. 机器人手眼标定Ax=xB（eye to hand和eye in hand）及平面九点法标定