【Python计算机视觉编程】图像的拼接

一. 实验要求

1. 针对固定点位拍摄多张图片，以中间图片为中心，实现图像的拼接融合；
2. 针对同一场景（需选取视差变化大的场景，也就是有近景目标），更换拍摄位置，分析拼接结果

二. 基于RANSAC的图像拼接

2.1 图像拼接原理

2.1.1 APAP

1. 在图像拼接融合的过程中，受客观因素的影响，拼接融合后的图像可能会存在“鬼影现象”以及图像间过度不连续等问题。下图就是图像拼接的一种“鬼影现象”。解决鬼影现象可以采用APAP算法
   

2. 算法流程：
   1.提取两张图片的sift特征点
   2.对两张图片的特征点进行匹配
   3.匹配后，使用RANSAC算法进行特征点对的筛选，排除错误点。筛选后的特征点基本能够一一对应。
   4.使用DLT算法，将剩下的特征点对进行透视变换矩阵的估计。
   5.因为得到的透视变换矩阵是基于全局特征点对进行的，即一个刚性的单应性矩阵完成配准。为提高配准的精度，Apap将图像切割成无数多个小方块，对每个小方块进行单应性矩阵变换。
   

2.2.2 最小割问题、最大流问题找拼接缝

当两张图像拼接完成后，可能会出现情况：两张图像之间的过度不连续，也就是存在拼接缝隙，拼接线两侧的灰度变化较为明显。最小割问题和最大流问题可以解决这个问题。

最大流
给定指定的一个有向图，其中有两个特殊的点源S(Sources)和汇T(Sinks)，每条边有指定的容量(Capacity)，求满足条件的从S到T的最大流(MaxFlow)。

最小割
割是网络中定点的一个划分，它把网络中的所有顶点划分成两个顶点集合S和T，其中源点s∈S,汇点t∈T。记为CUT(S,T)，满足条件的从S到T的最小割（Min cut）。