《机器视觉》笔记—空间几何变换与摄像机模型

2.1 空间几何变换

本章主要讲解射影变换、仿射变换、比例变换和欧氏变换，以及各种变换的不变量性质。

2.1.1 齐次坐标

• 齐次坐标是由n+1维向量表示一个n维向量，n维空间中，非齐次坐标为(P1,P2…Pn)，是唯一的。齐次坐标为(hP1,hP2…hPn,h)，是不唯一的。
• 齐次坐标的表示方法的优越性：

1. 能够明确地区分向量和点。
   对于一个向量v以及基oabc，向量可以表示为：v = v1a + v2b + v3c，而对于一个点p，我们把点的位置看作是对这个基的原点o所进行的一个位移，即一个向量p – o，使得 p – o = p1a + p2b + p3c ，改写成p = o + p1 a + p2 b + p3 c ，写成矩阵的形式：
   v = (v1 v2 v3 0) X (a b c o)，
   p = (p1 p2 p3 1) X (a b c o),
   这里(a,b,c,o)是坐标基矩阵。这样，向量和点在同一个基下就有了不同的表达：向量的第4个代数分量是0，点的第4个代数分量是1。
   因此，使用齐次坐标可以表示无穷远点，在h=0时表示一个n维的无穷远点。对于二维的齐次坐标[a,b,h]，h=0时表示ax+by=0的直线，即在直线y=-(a/b)x上的连续点(x,y)逐渐趋近与无穷远处。
2. 用齐次坐标表示，可以通过矩阵运算将空间中的一个点集从一个坐标系变换到另一个坐标系，即更方便使用矩阵来表示仿射变换(旋转、缩放、平移）。尤其在平移时，如果用非齐次坐标来表示平移，就得用加法，用齐次坐标，可以用乘法来表示平移，在多次平移的时候，乘法更为方便。
   
   

2.1.2 射影变换

• 一维射影变换：过点O的直线束分别交直线L1和L2于四点，对于L1上的一点，总能在L2上找到与其对应的点。L1与L2之间的一个一一对应的变换，称为一维射影变换

• 同时，L2与L3的变换是以O‘为中心的一维射影变换，以上两个射影变换的乘积就表示为L1到L3的变换关系，我们称由有限次中心射影变换的积定义的两条直线的一一对应变换为一维射影变换。
  在n维的射影变换中，用(n+1)维的x和y分别表示变换前后空间点的齐次坐标，Tp为(n+1)(n+1)的变换矩阵，一维射影变换表示为：其中有一比例因子
  
• 在三维射影变换中，射影矩阵表示为：因为有一个非零的比例因子，有15个自由度
  

2.1.3 仿射变换

• 当射影中心平面变为无限远处时，射影变换就称为仿射变换

• 一维仿射变换为
  
  
  将两式相除后得到非齐次坐标的关系，用非齐次坐标表示的射影变换为非线性变换，而仿射变换为线性变换
  
  三维的仿射变换矩阵可以表示为：有12个自由度
  

2.1.4 欧氏变换

• 欧氏变换代表了在欧氏空间中的刚体运动或刚体变换
  三维欧氏变换表示为
  
  其中，rij组成了一个正交矩阵，它是一个旋转矩阵，有3个自由度，又有3个平移的自由度，共6个自由度，用齐次坐标表示为
  
  如果再加上一个比例因子，则称为比例变换，有7个自由度，比例变换不改变物体空间的形状，只改变大小
  

2.2 几何变换的不变量

2.2.1 简比和交比

• 简比：基础点A,B和分点C,D所确定的两个有向线段之比
  
  交比：一条直线上四个点中两个简比的比值
  
  线束交比：任意4条直线的交比
  

2.2.2 不变量

• 射影变换保持点和线的交比不变。
  仿射变换具有射影变换的不变性，且保持两直线的平行性。
  比例变换具有仿射变换的不变性，且保持两条相交直线的夹角不变。
  欧氏变换具有比例变换的不变性，且任意两点的距离不变，因此，其形状大小都不变。
• 对于平面多边形的顶点，得到交比序列，形成该多边形的 一个特征矢量，反映了多边形的结构和形状，可以作为一个不变的形状描述子，区分两个相似形状的细微差别
  $CR=(C{R}_A,C{R}_B,C{R}_C,C{R}_D,C{R}_E,C{R}_F)$
  

2.3 欧氏空间的刚体变换

刚体变换经常用于两方面：一是计算一个刚体经过旋转和平移后的新坐标，二是计算同一刚体在不同坐标系中的坐标。

2.3.1 刚体变换过程

• 假设欧氏空间上的一点P，其在两个坐标系下的点分别为$p=(x,y,z{)}^T$和$p^{\prime }=(x^{\prime },y^{\prime },z^{\prime }{)}^T$，变换表示为：$p^{\prime }=Rp+t$，其中t表示平移向量，R表示旋转变换。
• R是一个正交矩阵且行列式值为1，R有9个参数，但并不是相互独立的，具有以下特性：
  
  
  其中I是单位矩阵，UV为任意的三维向量，| |表示向量的摸，因此R只有3个独立参数，R的9个元素需要满足以下6个约束
  

2.3.2 旋转矩阵的表现形式

1. 欧拉角表示法
   用三个轴旋转的角度描述旋转变换，各角度旋转正方向定义为从坐标系原点沿各轴正方向观察时逆时针旋转方向。
   
   
2. 四元数
   欧拉角表示三维向量旋转时带有奇异性，类似于用两个坐标描述地球表面必存在奇异性（纬度为90度时经度无意义）。为了更好地理解四元数，我们考虑在二维平面上的一个单位圆，单位圆上的任意一个位置对应一个旋转角，即极角。在三维空间中的单位球，只对应绕x轴和y轴旋转的两个角度，但绕z轴旋转的角却无法描述，如果再增加一个自由度就可以表示三个旋转角，这样便产生了四维空间的单位球，定义为：$x^2+y^2+z^2+w^2=1$
   三维空间中的所有三个旋转角都可以通过四维单位球上的点来表示，四维单位球上的坐标构成了单位四元数。一个旋转可以用两个单位四元数表示(q和-q)，但是针对机器视觉，旋转角一般不超过180度，所以可以附加要求四元数的第一个数为正，就可以保证旋转与四元数一一对应。
   四元数矢量$q=(q_1,q_2,q_3,q_4)$与旋转矩阵的转换关系
   

2.4 摄像机透视投影模型

2.4.1 坐标系

1. 像素坐标系
   在图像上定义直角坐标系uv，每一像素的坐标分别是该像素在数组中的列数和行数。
   
2. 图像坐标系
   在图像上定义以物理单位表示的图像坐标系XY，该坐标系的原点定义在摄像机光轴与平面的交点，一般在图像中心处，像素坐标系与图像坐标系的关系为：
   
3. 相机坐标系与世界坐标系
   摄像机的成像几何关系如下图，O为相机关心，Oxy组成相机坐标系，$O{O}_1$为相机焦距。空间中的一点P在世界坐标系与相机坐标系的齐次坐标为：$X_W=(X_W,Y_W,Z_W,1)$与$x=(x,y,z,1)$
   
   

2.4.2 针孔成像模型

• 空间上一点P在图像中的成像位置p，可以用针孔成像模型近似表示，p点的图像坐标与P在相机坐标系下的坐标有以下关系：s比例因子，f为焦距，P为透射投影矩阵
  
  
  
  其中，$a_x=f/dX$为$u$轴上的尺度因子，或者称为归一化的焦距。M为投影矩阵，$M_1$为内参矩阵，$M_2$为外参矩阵。已知投影矩阵M和空间点P，可以求出图像中p点的像素坐标。若已知p的像素坐标p和M，是无法求出空间点P的位置的，因为上式给出了三个方程，但消去了z，只得到两个线性方程，由这两个方程组成的方程组即射线OP的方程，也就是说位于射线OP上的空间点的图像点都是p点。

2.4.3 非线性模型

• 理论上镜头会存在径向畸变和切向畸变，径向畸变的修正量由距离图像中心的径向距离的偶次幂多项式来表示，畸变值与径向半径的平方成正比，图像边缘的畸变较大
  
  
  

2.5 摄像机透视投影近似模型

1. 正投影
2. 弱透视
   如果摄像机的视场很小，并且物体表面的深度变化相对于其到相机的距离很小的话，物体上各点的深度可以用物体质心的深度来近似。
   弱透视首先将物体按照平行于光轴的方向正投影到经过物体质心且与图像平行的平面上；再通过透视模型投影到相机的图像平面上。
   
3. 平行透视
   平行透视首先将物体按照平行于OG的方向投影到经过质心G与像平面平行的平面上，再进行透视投影。
   
   
   $m_{otth}$、$m_{wp}$、$m_{pp}$、$m_p$分别是正投影，弱透视、平行透视和透视投影下的结果。