计算机视觉-实验三（图像映射与全景拼接）

一、全景拼接基本流程

1. 针对某个场景拍摄多张/序列图像
2. 计算第二张图像与第一张图像之间的变换关系
3. 将第二张图像叠加到第一张图像的坐标系中
4. 变换后的融合/合成
5. 在多图场景中，重复上述过程

在上述流程当中，我们可以发现图像之间的变换关系是一个关键部分。

二、图像映射

1.流程

1. 针对两张/多张图像提取特征
2. 特征匹配
3. 根据图像变换特点，选取合适的变换结构
4. 根据DLT等方法计算变换结构
5. 采用正向/逆向映射，利用插值方式实现图像映射变换

2.类型

图像映射类型有平移、旋转、尺度变换、仿射、透视映射、桶装映射等，不同的类型所对应的自由度也不同，如下图所示：

单应性变换即一个平面到另一个平面的映射关系。公式如下所示：

3.参数求解

得到最小二乘解，在平移问题中最小二乘解和平均残差得到的结果等价

4.仿射变换

残差：

平方和代价函数：

矩阵表达式：

5.单应性变化

6.前向映射

对于$f(x)$中每个像素x，根据变换模型计算相应的映射坐标$x’=h(x)$,并将x像素值赋给$g(x’)$

7.逆向映射

对于$g(x^{{}^{\prime }})$中的每个像素 x ′ x^{'} x