机器视觉几何坐标概论

• 一、机器视觉几何坐标概论
  • 1、世界坐标系
  • 2、摄像机坐标系
  • 3、图像（像素）坐标系
    • 3.1、图像坐标系
    • 3.2、像素坐标系
  • 4、坐标系之间的关系
    • 4.1、图像坐标系与像素坐标系
    • 4.2、相机坐标系与图像坐标系
    • 4.3、世界坐标系与相机坐标系
    • 4.4、从世界坐标到像素坐标

一、机器视觉几何坐标概论

机器视觉系统有三大坐标系，分别是：1、世界坐标系，2、摄像机坐标系，3、图像（像素）坐标系；

1、世界坐标系

世界坐标系（Xw，Yw，Zw）是目标物体位置的参考系，根据运算方便自由设置圆点位置，可以位于机器手底座或者机器手前端执行器上。

其主要作用有

(1)盛放物体的三维坐标；

(2)标定的时候根据原点确定标定物的位置；

(3)给定出两个摄像机相对于世界坐标系的位置，从而求出两个或多个相机之间的坐标关系；

2、摄像机坐标系

摄像机坐标系（Xc，Yc，Zc）是摄像机在自己角度上的坐标系，原点在摄像机的光心上，Z轴与摄像机光轴平行，即摄像机的镜头拍摄方向。

3、图像（像素）坐标系

3.1、图像坐标系

图像坐标系（x，y）单位米或毫米，是连续图像坐标或者空间坐标，以图片对角线交点作为基准原点建立的坐标系。

3.2、像素坐标系

像素坐标系（u，v）单位尺度为一个pixel，是离散图像坐标或像素坐标，原点在图片的左上角。

4、坐标系之间的关系

当我们在图片中确定了某个物体的位置，如何让机器手去到空间中的实际位置进行抓取呢？这就需要对坐标进行转换。而从像素点到空间点的转换与空间点到像素点的转换是相反的，我们先将后者的推导过程。

4.1、图像坐标系与像素坐标系

图像坐标系与像素坐标系的关系为：

$$f(x)=\{\begin{array}{l}u=\frac{x}{dx}+u0\\ v=\frac{y}{dy}+v0\end{array}$$

dx代表一个像素的宽度（x方向），与x同单位，x/dx表示x轴上有多少个像素，同理y/dy表示y轴上的像素个数，(u0，v0)是图像平面中心。

将上述关系转换为矩阵形式：

$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u0\\ 0& \frac{1}{dy}& v0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

4.2、相机坐标系与图像坐标系

从相机坐标系到图像坐标系是一个三维坐标到二维坐标（3D->2D）的过程，称之为透视投影变换。为了求解它们之间的关系，将普通图像坐标（x，y）拓展为齐次坐标（x，y，1）。空间中的某点，投影到图像平面上的点与相机的光心在一条直线上。以光心为原点建立相机坐标系：

根据相似三角形关系可以得到以下：

△ABO_c ~ △oCO_c

△PBO_c ~ △pCO_c

$$\frac{AB}{oC}=\frac{A{O}_c}{o{O}_c}=\frac{PB}{pC}=\frac{X_c}{x}=\frac{Z_c}{f}=\frac{Y_c}{y}$$

$$x=f\cdot \frac{X_c}{Z_c},y=f\cdot \frac{Y_c}{Z_c}$$

f为相机焦距（相机光心到成像平面的距离）

用矩阵形式表示为：

$$Zc\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}Xc\\ Yc\\ Zc\\ 1\end{array}\right]$$

统一将成像平面上的点用(u,v)表示：

$$Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}Xc\\ Yc\\ Z\\ 1\end{array}\right]=\left[\begin{array}{c}f\cdot Xc\\ f\cdot Yc\\ 1\end{array}\right]$$

得图像点与空间点的关系为：

$$u=\frac{f\cdot X_c}{Z},v=\frac{f\cdot Y_c}{Z}$$

4.3、世界坐标系与相机坐标系

世界坐标（Xw，Yw，Zw）与相机坐标（Xc，Yc，Zc）同为三维坐标（右手系，三轴互相垂直），两个坐标系的关系为刚体变换（刚体变换：当物体不发生形变时，对一个几何物体作旋转，平移的运动）。可以先凭空想象下，有两个坐标系A与B，如何将A坐标系下的坐标转换到B坐标系表示，首先将A坐标系以原点为基准任意旋转，使其x轴，y轴，z轴与B坐标轴平行且同方向，接着平移AB坐标系原点的直线距离，就可以将A坐标系下的坐标转换到B坐标系，这个旋转Rotation与平移Transport就是需要求得的两个三维坐标之间的关系。

用以下等式表示两个坐标系之间的关系：

$$\left[\begin{array}{c}Xc\\ Yc\\ Zc\end{array}\right]=R\left[\begin{array}{c}Xw\\ Yw\\ Zw\end{array}\right]+T$$

其中旋转矩阵R可以看成空间坐标分别沿着X，Y，Z轴的三个旋转矩阵点乘得到的结果。

当绕Z轴旋转$\theta$角度，新旧坐标的关系为：

$$\{\begin{array}{l}x=x^{\prime }cos\theta -y^{\prime }sin\theta \\ y=x^{\prime }sin\theta +y^{\prime }cos\theta \\ z=z^{\prime }\end{array}$$

用矩阵表示为：

$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]=R1\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]$$

同理，绕X轴，Y轴旋转$\delta$和$\omega$角度，可以得到：

$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& cos\delta & sin\delta \\ 0& -sin\delta & cos\delta \end{array}\right]\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]=R2\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]$$

$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{ccc}cos\omega & 0& -sin\omega \\ 0& 1& 0\\ sin\omega & 0& cos\omega \end{array}\right]\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]=R3\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ z^{\prime }\end{array}\right]$$

于是，得到旋转矩阵R = R1*R2*R3，维度为3X3，T为平移矩阵，维度为3X1。

拓展为其次坐标：

$$\left[\begin{array}{c}Xc\\ Yc\\ Zc\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}Xw\\ Yw\\ Zw\\ 1\end{array}\right]$$

4.4、从世界坐标到像素坐标

综合上面推导的过程，

以上顺序用矩阵表示为不断左乘下一步，即：

$$Zc\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u0\\ 0& \frac{1}{dy}& v0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}Xw\\ Yw\\ Zw\\ 1\end{array}\right]$$

等式右边的前两个矩阵称的乘积为相机内参，第三个矩阵称为相机外参(Toc)，后面的单目相机标定，就是为了求解相机的内外参数。

至此，机器视觉几何坐标概论记录完了，接下来会陆续记录我所参与的项目中包含标定的内容。