三种图像拼接方法:APAP方法、SPHP方法、PT方法
图像拼接步骤
图像配准、图像对齐与光束法平以及图像后处理
下面介绍图像拼接的有关算法:
图像配准是图像拼接中的至关重要的一步,在图像配准中,特征提取与匹配是最关键的一个步骤。
普通检测方法检测的高相应值的特征点通常分布于纹理明显的区域,在相对平滑的区域,特征点分布较为稀疏。
特征提取
特征提取主要分为:特征检测与特征描述
经典局部特征提取方法
SIFT
SURF
ORB
通过FAST检测器来检测特征点,以BRIEF描述方式来获取描述符向量,加入了方向信息,具有旋转不变性。
KAZE
AKAZE
是KAZE的加速版本。
检测器
SIFT、SURF、CenSurE、FAST、KAZE、AKAZE
结合重复率和运行时间两个指标,结论如下:
在实时性要求低的任务中,AKAZE检测器获得最好的重复率的表现;在实时性要求高的任务中,应当选择FAST检测器;综合考虑两个指标,选择SURF检测器。
MLD
鲁棒的特征描述方法,通过线描述符维度、线段长度范围、线性规范化因子
常用的特征匹配算法
KNN(K近邻)
线性扫描方式(穷举,暴力方法)
K-D Tree
用于大规模索引数方法
是一种分割k维数据空间的数据结构,主要应用与多维空间关键数据的搜索,例如范围搜索和最近邻搜索。
对参考图上的所有描述符建立数据索引,然后进行快速匹配。(对搜索空间进行层次划分)
RANSAC(随机采样一致性)
用于剔除误匹配,保留正确匹配的随机采样方法。
选取评估样本来评估单应性矩阵,然后对剩余的其他数据根据与评估模型吻合程度来辨别属于内点或者外点。迭代后,将内点最多的评估模型作为最优解。(是一个概率模型)
Kuhn-Munkres算法(匈牙利算法)
一种用于在加权二分图(通常为一个任务分配问题),在多项式时间内,求得组合最优解的算法。
就是先利用投票方案(一种穷举法)来获取一个权值矩阵;然后将该权值矩阵输入K-M算法,来得到全局最优匹配。
FMP算法
两张图同步深度搜索
DFS-STG算法
图像对齐算法
图像对齐算法决定了原始图像中的像素在画布上的重定向位置。
APAP
利用多个局部单应性来实现精确对齐
GSP
提出相似性变换优先的思想,利用相机运动评估结果分解合理的尺度因子以及2D旋转角,从而约束了图像变形,得到表现更为自然的拼接图像。
网格优化
利用APAP的局部单应性对齐能力以及GSP方法的全局相似性结构保持能力,再结合局部相似性优化项,从而更为通用地解决了图像精确对齐问题。
CI方法
针对图像拼接中的未对齐区域进行特征插入操作,可以得到更为均匀的特征分布,并且提高对齐效果。
迭代搜索算法(用来求解最优解)
最速梯度下降法(Steepest Descent)
高斯-牛顿法(Gaussian-Newton)
列文伯格-马夸尔特法(Levenberg-Marquard)
共轭梯度法(Conjugate Gradient method)
常用的图像融合算法
图像融合算法作为图像拼接的后处理过程,对最终的图像成形质量至关重要。
就是决定原始图像中的每个像素对于最终画布上的成像结果的贡献度
渐进渐出融合(线性融合)
就是对图像重叠区域的像素强度直接进行线性加权,其中权值按照渐进渐出的方式,由小到大或者由大到小变化。
运算快但是融合效果差一点
拉普拉斯金字塔融合
金字塔分解–金字塔融合–金字塔重构图像
本质就是一种多频段融合的方法
泊松融合
将局部目标融入到背景图片并且得到无缝结果的融合方法。(缺点:运行较缓慢)
最佳缝合线
主要为了解决图像拼接中的大视差以及运动物体的融合鬼影等图像对齐上解决不了的问题。
==步骤:==对待拼接图像的重合区域进行切割,就能找到重叠区域中能量最小的缝合线,融合通过直接拼合的方式来得到拼接图像。
显著性内容保留
使用CA方法,进行显著性内容检测。然后将得到的显著性结果作为掩码,对最佳缝合线的能量评估函数进行加权,来保留显著性内容,避免缝合线切割显著性目标。
TIPS
图割算法
本质就是最大流与最小割算法在计算机视觉上的应用
用于对图像进行前景与背景分割任务。
通过将图像中的每个像素点视为图中的顶点,将图中相邻像素的梯度信息(如灰度梯度,颜色梯度等)视为图中的边缘
特征提取
可以改进的地方: