车载环视拼接系统的设计与实现(四)：透视变换与图像拼接

透视变换：

      透视变换常用于图像视觉处理中，如在移动机器人视觉系统中，摄像机光轴与地面并不是呈垂直关系，而是有一定的倾斜角度，因此想要获取俯视图即正投影的效果，就需要对图像进行透视变换。进行透视变换获取俯视图的常用方法有两种：1、基于图像的单应性矩阵DLT算法。2、基于摄像机倾斜角度的变换，也就是上文提到的把世界坐标系转为摄像机坐标系的过程。由于在实际中我们比较难以准确测到摄像机的倾斜角度，因此我们采用第一种方法来进行透视变换获取俯视图。两个不同视角的图像上的点对的可以用一个射影变换表述，即：

射影变换也叫单应性，因此H就称为单应性矩阵。

单应性矩阵的推导过程：

令，有：

设单应性矩阵为H，取原图像像素点(u，v),变换尺度因子w,俯视图坐标点(X,Y,Z),也即世界坐标点，则有：

对上式的单应性矩阵的元素乘上同一个系数a，得到的单应性矩阵a*H和H作用相同，因为前面已有尺度因子w。因此我们可以把a换成，那么H就变成了只有8个自由元素的矩阵，也即。

求解参数矩阵H过程如下 ：

对公式进行展开有:

化简：

进行拼凑：

由于需要求取的未知系数有8个因此需要建立8个方程组求解，为了求得8个未知解，选取4组参考点建立方程组即可求得单应性矩阵，假设4组参考点分别为：

把4组参考点代入上式有：

上式化为矩阵形式：

由上式可知我们只需要选取校正图后的四组参考点，对应其在俯视图坐标下的坐标点，即可求解出单应性矩阵。也就是可以把四个方向的鱼眼校正图变换成俯视图，存放到总的俯视图对应的四个方向上。 

图像拼接技术 ：

        图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新 ,早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下四步:图像预处理、建立变换模型、统一坐标变换、融合重构。

        图像配准根据不同配准原理，主要可以分为三种配准方法：基于图像亮度信息的配准方法、基于特征的图像配准方法、基于变换域的图像配准方法。

      以上三种配准方法都是根据图像之间重合区域信息来自动配准的，一般自动配准的方法运算量大，精确度不高。本车载环视拼接系统对实时性要求高，自动配准方法不利于系统实现。而且对于车载环视系统来说，每个摄像头都固定在车上，他们之间的相对位置不会改变，因此我们采用手动选取参考点实现配准的方法。

      在全景俯视图中，相邻两方向俯视图之间存在一定的重合区域，另外由于我们求解单应性矩阵时对四个区域方向选取了参考点，因此我们可以在选取参考点时选取相邻两幅畸变校正图的两个重合点作为求解单应性矩阵的参考点，即相邻图像选取共同参考点，并且在全景俯视图下建立统一的坐标系，如图所示。这样当四路视频图像经透视变换后映射到各自相应俯视图区域即完成图像配准，这样就可以把四个方向图像在侧视图变成俯视图时拼接起来。

四路视频图像经过全景视图映射和图像配准后，就可以得到全景视频图像，但得到的全景视频图像还存在以下的问题：

(1) 相邻两视频区域拼接处有明显的拼接缝。

(2) 四路视频在亮度上有较大的差异，存在亮暗不均一的情况。

(3)从某一视频区域过渡到其相邻视频区域拼接处有折断现象。