何川, 周军. 具有直线结构保护的网格化图像拼接[J]. 中国图象图形学报, 2018

本文在NISwGSP（natural image stitching with the global similarity prior）算法基础上提出了一种具有直线结构保护的图像拼接算法（MISwLP）。该算法通过提取直线并施加约束，在保证重叠区域配准的同时，对网格进行相似性连续约束和直线结构约束，进而求得网格优化最优能量，对网格进行变形。最终得到较好的拼接效果

本文首先分析了当前图像拼接面临的主要问题：1.拍摄的图像不在同一平面，单一的全局单应性矩阵无法满足要求；2.多视点拍摄，导致视差严重。

针对第一个问题，主要是利用多单应性矩阵的方式来解决问题。而针对第二个问题，主要有三种解决办法：1.多通带融合；2.强调局部配准，利用网格变形等；3.利用缝合线，在配准和融合阶段之间操作。

注意：以上三种方法分别处于不同阶段，因此可以结合使用

NISwGSP算法简介

算法主要分为四大步骤

（1）APAP预配准

（2）全局相似参数估计

（3）网格优化

（4）图像合成

利用APAP的局部对齐效果，先将重叠区域网格顶点的匹配点对配准，然后将目标影像相对于参考影像的旋转参数和尺度参数作为图片的全局相似变换，接下来利用网格顶点能量最小的优化计算得到新的网格顶点，最后就是利用网格顶点进行映射融合。

MISwLP算法

本文分析可知，在NISwGSP算法中，一些直线发生明显弯曲，而利用全局相似，只能保证网格内部不发生形变，当直线跨网格时，约束就无效了。因此本文提出了MISwLP(mesh-based image stitching with linear structure protection)

算法前两步仍然是APAP预配准，以及全局相似变换。

网格优化时分为两阶段

（1）第一阶段

其中Ea(V)为对齐误差项，Els(V)为局部相似项，Egs(V)为全局相似项，三个lamda为权重

（2）第二阶段，加入直线约束

其中El(V)为直线约束项

（3）对齐误差项是不同于传统特征点匹配，而是利用APAP预匹配的网格顶点作为对齐项

（4）局部相似项，将重叠区域网格的几何变换传播到整张网格上，保证网格变换的连续性

（5）全局相似项，控制非重叠区域的网格以全局相似变换为主，而重叠区域的网格以对齐为主，减少投影失真

（6）直线保持项，首先利用LSD提取直线，且只选取超过网格对角线长度的直线，特定情况下提供辅助直线选取。对直线进行采样，并且保证采样点变换后仍为直线，即进行了直线约束。且只需要三点共线即可

考虑到加入的直线约束是非线性的，因此考虑分两阶段迭代优化。

首先不添加直线约束，求解线性方程得到顶点集，即初始解

利用初始解，带入添加了直线约束的方程，解方程得到最终解。

此外，由于矩阵过大，采用共轭梯度最小二乘法（CGLS）来解算

最后通过顶点坐标进行纹理映射和线性融合

本文相比APAP和SPHP算法以及NISwGSP算法具有更好的拼接效果，对于明显的直线能够较好的保持。当然当前只是对于网格中的直线进行了保持，进一步可做的就是全局直线保持。