一、机器视觉几何坐标概论
机器视觉系统有三大坐标系,分别是:1、世界坐标系,2、摄像机坐标系,3、图像(像素)坐标系;
1、世界坐标系
世界坐标系(Xw,Yw,Zw)是目标物体位置的参考系,根据运算方便自由设置圆点位置,可以位于机器手底座或者机器手前端执行器上。
其主要作用有
(1)盛放物体的三维坐标;
(2)标定的时候根据原点确定标定物的位置;
(3)给定出两个摄像机相对于世界坐标系的位置,从而求出两个或多个相机之间的坐标关系;
2、摄像机坐标系
摄像机坐标系(Xc,Yc,Zc)是摄像机在自己角度上的坐标系,原点在摄像机的光心上,Z轴与摄像机光轴平行,即摄像机的镜头拍摄方向。
3、图像(像素)坐标系
3.1、图像坐标系
图像坐标系(x,y)单位米或毫米,是连续图像坐标或者空间坐标,以图片对角线交点作为基准原点建立的坐标系。
3.2、像素坐标系
像素坐标系(u,v)单位尺度为一个pixel,是离散图像坐标或像素坐标,原点在图片的左上角。
4、坐标系之间的关系
当我们在图片中确定了某个物体的位置,如何让机器手去到空间中的实际位置进行抓取呢?这就需要对坐标进行转换。而从像素点到空间点的转换与空间点到像素点的转换是相反的,我们先将后者的推导过程。
4.1、图像坐标系与像素坐标系
图像坐标系与像素坐标系的关系为:
f ( x ) = { u = x d x + u 0 v = y d y + v 0 f(x)= \begin{cases} u = \frac{x}{dx} + u0 \\ v = \frac{y}{dy} + v0 \end{cases} f(x)={u=dxx+u0v=dyy+v0
dx代表一个像素的宽度(x方向),与x同单位,x/dx表示x轴上有多少个像素,同理y/dy表示y轴上的像素个数,(u0,v0)是图像平面中心。
![](http://q8q5hjgdm.bkt.clouddn.com/fixture.png)
将上述关系转换为矩阵形式:
[ u v 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ x y 1 ] \left[ \begin{matrix} u\\ v\\ 1 \end{matrix} \right]= \left[ \begin{matrix} \frac{1}{dx} & 0 & u0\\ 0 & \frac{1}{dy} & v0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x\\ y\\ 1 \end{matrix} \right] ⎣⎡uv1⎦⎤=⎣⎡dx1000dy10u0v01⎦⎤⎣⎡xy1⎦⎤
4.2、相机坐标系与图像坐标系
从相机坐标系到图像坐标系是一个三维坐标到二维坐标(3D->2D)的过程,称之为透视投影变换。为了求解它们之间的关系,将普通图像坐标(x,y)拓展为齐次坐标(x,y,1)。空间中的某点,投影到图像平面上的点与相机的光心在一条直线上。以光心为原点建立相机坐标系:
![](http://q8q5hjgdm.bkt.clouddn.com/fctofi.png)
根据相似三角形关系可以得到以下:
△ABO_c ~ △oCO_c
△PBO_c ~ △pCO_c
A B o C = A O c o O c = P B p C = X c x = Z c f = Y c y \frac{AB}{oC} = \frac{AO_c}{oO_c} = \frac{PB}{pC} = \frac{X_c}{x} = \frac{Z_c}{f} =\frac{Y_c}{y} oCAB=oOcAOc=pCPB=xXc=fZc=yYc
x = f ⋅ X c Z c , y = f ⋅ Y c Z c x = f \cdot \frac{X_c}{Z_c}, y = f \cdot \frac{Y_c}{Z_c} x=f⋅ZcXc,y=f⋅ZcYc
f为相机焦距(相机光心到成像平面的距离)
用矩阵形式表示为:
Z c [ x y 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ X c Y c Z c 1 ] Zc \left[ \begin{matrix} x\\ y \\ 1 \end{matrix} \right]= \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} Xc\\ Yc\\ Zc\\ 1 \end{matrix} \right] Zc⎣⎡xy1⎦⎤=⎣⎡f000f0001000⎦⎤⎣⎢⎢⎡XcYcZc1⎦⎥⎥⎤
统一将成像平面上的点用(u,v)表示:
Z [ u v 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ X c Y c Z 1 ] = [ f ⋅ X c f ⋅ Y c 1 ] Z \left[ \begin{matrix} u \\ v \\ 1 \end{matrix} \right]= \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} Xc\\ Yc\\ Z\\ 1 \end{matrix} \right]= \left[ \begin{matrix} f \cdot Xc\\ f \cdot Yc\\ 1 \end{matrix} \right] Z⎣⎡uv1⎦⎤=⎣⎡f000f0001000⎦⎤⎣⎢⎢⎡XcYcZ1⎦⎥⎥⎤=⎣⎡f⋅Xcf⋅Yc1⎦⎤
得图像点与空间点的关系为:
u = f ⋅ X c Z , v = f ⋅ Y c Z u =\frac {f \cdot X_c}{Z}, v =\frac {f \cdot Y_c}{Z} u=Zf⋅Xc,v=Zf⋅Yc
4.3、世界坐标系与相机坐标系
世界坐标(Xw,Yw,Zw)与相机坐标(Xc,Yc,Zc)同为三维坐标(右手系,三轴互相垂直),两个坐标系的关系为刚体变换(刚体变换:当物体不发生形变时,对一个几何物体作旋转,平移的运动)。可以先凭空想象下,有两个坐标系A与B,如何将A坐标系下的坐标转换到B坐标系表示,首先将A坐标系以原点为基准任意旋转,使其x轴,y轴,z轴与B坐标轴平行且同方向,接着平移AB坐标系原点的直线距离,就可以将A坐标系下的坐标转换到B坐标系,这个旋转Rotation与平移Transport就是需要求得的两个三维坐标之间的关系。
用以下等式表示两个坐标系之间的关系:
[ X c Y c Z c ] = R [ X w Y w Z w ] + T \left[ \begin{matrix} Xc\\ Yc \\ Zc \end{matrix} \right]= R \left[ \begin{matrix} Xw\\ Yw\\ Zw \end{matrix} \right] +T ⎣⎡XcYcZc⎦⎤=R⎣⎡XwYwZw⎦⎤+T
其中旋转矩阵R可以看成空间坐标分别沿着X,Y,Z轴的三个旋转矩阵点乘得到的结果。
当绕Z轴旋转 θ \theta θ角度,新旧坐标的关系为:
{ x = x ′ c o s θ − y ′ s i n θ y = x ′ s i n θ + y ′ c o s θ z = z ′ \begin{cases} x = x'cos\theta - y'sin\theta \\ y = x'sin\theta + y'cos\theta \\ z = z' \end{cases} ⎩⎪⎨⎪⎧x=x′cosθ−y′sinθy=x′sinθ+y′cosθz=z′
用矩阵表示为:
[ x y z ] = [ c o s θ − s i n θ 0 s i n θ c o s θ 0 0 0 1 ] [ x ′ y ′ z ′ ] = R 1 [ x ′ y ′ z ′ ] \left[ \begin{matrix} x\\ y \\ z \end{matrix} \right]= \left[ \begin{matrix} cos\theta & -sin\theta & 0\\ sin\theta & cos\theta & 0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R1 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right] ⎣⎡xyz⎦⎤=⎣⎡cosθsinθ0−sinθcosθ0001⎦⎤⎣⎡x′y′z′⎦⎤=R1⎣⎡x′y′z′⎦⎤
同理,绕X轴,Y轴旋转 δ \delta δ和 ω \omega ω角度,可以得到:
[ x y z ] = [ 1 0 0 0 c o s δ s i n δ 0 − s i n δ c o s δ ] [ x ′ y ′ z ′ ] = R 2 [ x ′ y ′ z ′ ] \left[ \begin{matrix} x\\ y \\ z \end{matrix} \right]= \left[ \begin{matrix} 1 & 0 & 0\\ 0 & cos\delta & sin\delta \\ 0 & -sin\delta & cos\delta \\ \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R2 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right] ⎣⎡xyz⎦⎤=⎣⎡1000cosδ−sinδ0sinδcosδ⎦⎤⎣⎡x′y′z′⎦⎤=R2⎣⎡x′y′z′⎦⎤
[ x y z ] = [ c o s ω 0 − s i n ω 0 1 0 s i n ω 0 c o s ω ] [ x ′ y ′ z ′ ] = R 3 [ x ′ y ′ z ′ ] \left[ \begin{matrix} x\\ y\\ z \end{matrix} \right]= \left[ \begin{matrix} cos\omega & 0 & -sin\omega\\ 0 & 1 & 0\\ sin\omega & 0 & cos\omega \end{matrix} \right] \left[ \begin{matrix} x'\\ y'\\ z' \end{matrix} \right]= R3 \left[ \begin{matrix} x'\\ y' \\ z' \end{matrix} \right] ⎣⎡xyz⎦⎤=⎣⎡cosω0sinω010−sinω0cosω⎦⎤⎣⎡x′y′z′⎦⎤=R3⎣⎡x′y′z′⎦⎤
于是,得到旋转矩阵R = R1*R2*R3,维度为3X3,T为平移矩阵,维度为3X1。
拓展为其次坐标:
[ X c Y c Z c 1 ] = [ R T 0 1 ] [ X w Y w Z w 1 ] \left[ \begin{matrix} Xc\\ Yc \\ Zc \\ 1 \end{matrix} \right]= \left[ \begin{matrix} R & T\\ 0 & 1 \end{matrix} \right] \left[ \begin{matrix} Xw\\ Yw\\ Zw\\ 1 \end{matrix} \right] ⎣⎢⎢⎡XcYcZc1⎦⎥⎥⎤=[R0T1]⎣⎢⎢⎡XwYwZw1⎦⎥⎥⎤
4.4、从世界坐标到像素坐标
综合上面推导的过程,
以上顺序用矩阵表示为不断左乘下一步,即:
Z c [ u v 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ R T 0 1 ] [ X w Y w Z w 1 ] Zc \left[ \begin{matrix} u\\ v \\ 1 \end{matrix} \right]= \left[ \begin{matrix} \frac{1}{dx} & 0 & u0\\ 0 & \frac{1}{dy} & v0\\ 0 & 0 & 1 \end{matrix} \right] \left[ \begin{matrix} f & 0 & 0 & 0\\ 0 & f & 0 & 0\\ 0 & 0 & 1 & 0 \end{matrix} \right] \left[ \begin{matrix} R & T\\ 0 & 1 \end{matrix} \right] \left[ \begin{matrix} Xw\\ Yw\\ Zw\\ 1 \end{matrix} \right] Zc⎣⎡uv1⎦⎤=⎣⎡dx1000dy10u0v01⎦⎤⎣⎡f000f0001000⎦⎤[R0T1]⎣⎢⎢⎡XwYwZw1⎦⎥⎥⎤
等式右边的前两个矩阵称的乘积为相机内参,第三个矩阵称为相机外参(Toc),后面的单目相机标定,就是为了求解相机的内外参数。
至此,机器视觉几何坐标概论记录完了,接下来会陆续记录我所参与的项目中包含标定的内容。