Li N , Xu Y , Wang C . Quasi-homography Warps in Image Stitching.2017

本文提出了一种新的分类单应性矩阵来解决在单一全局单应性矩阵下非重叠区域发生形变的情况，同时本文和单应性、AutoStitch、SPHP进行效果比较

当前的图像拼接已经越来越成熟，且主要趋向于解决两个方面的问题：重叠区域配准质量，非重叠区域保持尽可能自然的效果。

分析发现，全局单应性拼接，在远离参考影像的地方，会出现物体放大等不良效果，而SPHP虽然能够抑制这一问题，但是在重叠区域配准上会出现错位严重的问题。SPHP和AANAP将单应性和相似变换相结合，来抑制非重叠区域的投影扭曲，还有一些其他的办法为了在约束扭曲的同时保留直线。

本文提出了一种叫类单应性变换的方法，在非重叠区域平衡投影扭曲的同时，约束透视失真，使得最终的效果看起来更加的自然。且本文提出的方法主要是依据全局单应性，不需要过多的参数解算。

Gao et al.提出了双单应性矩阵，为了能在重叠区域有更好的配准效果。Lin et al.提出了SVA，相比单纯的仿射变换和单应性变换，有更加平滑的效果。Zaragoza et al.提出了APAP和moving DLT，对于相机不止是纯旋转的情况，有较好的效果。Lou et al.提出了picewise alignment method，利用分段局部集合模型来拼接。还有一些其他的利用缝合线来得到较好的拼接对准效果的方法。

本文主要是针对图像拼接能有较为自然的效果，因此主要和SPHP和AANAP进行比较。针对较为自然的拼接效果，首先，需要在全局一致的情况下具有直线约束的特征（通过网格到网格的变换来得到），局部一致的特征就是均匀缩放，投影失真主要表现在线性变化的尺度函数。

下面进行具体的数学分析推导

假定目标影像I 和参考影像I’

如果变换是全局一致的，那么必定有直线保留的特征（全局单应性就被认为是全局一致）

假设一条直线在目标图像上，那么必定有对应的一条直线在参考图像上，且对应表达如下：

.

定义直线斜率k’如下：（且可知斜率和z无关）

因此可以重新定义为slope(x,y,k)

且当k=0和k=∞的时候分别表示水平直线和竖直直线

如果变换是局部一致的，那么必定有均匀缩放的特点，因此我们的变换需要在保证直线特征的情况下还要均匀缩放，那么我们对应的直线要求就改动如下

下面假设摄像机是水平移动和旋转，那么必定存在一条水平线lx以及其对应水平线lx’，我们事先设定y为一固定值，则可以求得y

在lx上选取一点x*，我们可以将图像分为两部分，重叠区域和非重叠区域，并且是由x来划分，且在O区域的单应性矩阵为Ho，在Q区域的单应性矩阵为H

下面开始具体描述单应性矩阵的求解

1.首先求全局单应性矩阵

（1）本文先验证了全局单应性矩阵具有直线约束的特点，选取水平直线如lx，求得y*

那么在当前直线下的x的变换表达如下

可见，当h7不等于0的时候，虽然全局单应性能够保持y*不变，但是x并不是均匀缩放的

因此可见，当拼接配准较好的时候，全局单应性能够做到全局一致，但是在非重叠区域的投影失真，即缩放不均匀导致的物体放大问题始终存在

（2）SPHP正是基于此原因提出来的改进方法，该方法将拼接分为三个区域，重叠区域使用单应性矩阵，外侧区域使用相似变换矩阵，中间过渡阶段将单应性矩阵过度到相似矩阵。即如下：

但是，SPHP方法容易在T区域造成直线的完全，甚至无法连接上的情况。因此平衡好透视失真和投影失真的本文最主要的出发点。即在单应性矩阵过度到非重叠区域的其他变换矩阵的时候，尽可能的平滑，且保持直线特征。

2.下面具体讲解如何过渡的问题

求解全局单应性矩阵没有任何特殊的地方。下面再来定义一条水平直线y*，同理可满足y的公式上面已经求解，把图像拼接分为两个部分，以重叠区域和非重叠区域为分界线。在重叠区域使用全局单应性矩阵，非重叠区域使用新的矩阵变换。==其中x就是分界线==

同理

由于需要双线性插值，逆向映射，所以用x’和y’来表达x,y。而其中

注意：y的表达式来自于直接对H0求逆，可见求y的时候并没用任何的尺度约束或者像x那样进行一阶泰勒展开，（我也因此可以猜测为什么后面说在竖直方向的效果会不好这个原因，因为y方向没用进行单应性之外的约束）

可见这种H矩阵的方法是在不改变网格形状的情况下，在水平方向进行压缩，从而不至于像单一的全局单应性矩阵那样形成投影失真

注意：这种方法仍然有局限性，就是对角线的直线会弯曲，不能保证是直的，例如现实情况下，楼房的两条边形成直角，并没有在同一平面，以及竖直方向的拉伸问题

3.这一部分主要讲在两幅和多幅情况下的拼接，有两个小地方修改可以采用

（1）定向纠正，即让参考影像的外侧不歪，保持直线，则在计算全局单应性矩阵的时候加入限制条件（其中w为参考影像的宽，h为参考影像的高）

（2）分块纠正，在前面分析过渡矩阵的计算时，讲分界线设定为重叠区域和非重叠区域的分界线。本文在实际使用过程中，选择了拼接线的最外侧

总结：本文提出的直线保留和均匀缩放的思想正是当前图像拼接所要解决的问题，以达到尽可能自然的拼接效果。并且本文不需要进行直线检测和特定的公式约束。而通过验证全局单应性矩阵具有直线保持的特性，然后将全局单应性矩阵进行一阶泰勒展开，运用到非重叠区域，从而保证了在水平方向上的均匀缩放。变换矩阵的参数计算简单，且虽然是依据网格优化的思路出发，但是在实际过程中并不需要进行网格设定，大大简化了实际的工作量。当然也存在的问题就是可能在竖直方向上的缩放有误，以及当存在对角线的情况下会发生扭曲。

算法流程推导

1.求解单应性矩阵H0，以及其逆矩阵

2.由于是逆向映射，因此可以利用y’和逆矩阵求得y坐标

3.带入式子

针对重叠区域，即x’=f*(x,y)=f0(x*,y)+f’0(x*,y)(x-x*)

进而，由于逆向映射，x’已知，y求解已经得到，带入上面的式子，求得x

4.双线性插值可得最终结果

其中x*是非基准影像上面的重叠区域最外侧的x坐标