何轶. 大视差图像的多视点全景拼接[D].浙江大学,2015.

自我总结：本文主要的可学习点在于如何利用网格能量函数得到一个类似正交投影的图像变换结果

当拍摄物体距离镜头较近的时候，产生较大的视差，破坏了传统方法的单点透视假设。此外，多摄像头监控系统中，将视图拼接成完整的全景图具有很大的应用前景

1.本文提出基于网格的全局优化方法，针对大视差条件下的全景拼接问题，设计了相应的能量函数和求解策略，能够生成近似正交投影的全景拼接结果。针对不同场景添加先验约束，达到更好的效果，且不选取某幅图像作为基准平面，是选择一个公共平面，所有图像都投影到这公共平面上

2.改进现有的无缝融合技术，使得配准误差大的区域通过后处理进行改进

本文认为，双单应性矩阵模型、平滑仿射变换模型、APAP模型，只适用于视差较小的情况

略过SIFT特征点匹配、RANSAC匹配方法、DLT解算

下面简单概括基于网格的图像配准技术

输入一组图像

两两重叠区域的特征匹配结果

为每幅图求一个映射函数，即对原图像素坐标映射变换后的坐标

且对应的特征点对满足

3.全局能量函数

E(V)=配准项+正则项+尺度项+额外约束项

配准项以便对应的特征点能够映射到同一位置

正则项鼓励相邻网格顶点采取相近的几何变换

尺度项防止图像尺度发生严重的缩放

额外约束项针对典型的例子，利用先验知识进行约束

1.首先对所有图像建立均匀网格，并对所有顶点建立索引，得到各个顶点坐标构成的向量V

其中V=[x1 y1 x2 y2 … xm ym]T，利用全局能量最小，求得最优解V*，即得到了将网格各个顶点坐标变换到了公共坐标系

2.配准项

对于在四个顶点内的特征点P，其插值权重计算如下

以下就是特征配准项，p*,q*即匹配特征点变换后的坐标，利用变换前后权值不变的性质，用WV来代替变换后的特征点，而V是指包含这个特征点的顶点坐标（且也是变换后的顶点）。引入归一化参数，防止特征点多的区域过度拟合，

3.正则项

配准项只对包含特征点的格子产生影响，利用正则项传播几何变换到其他格子。即传播透视变换，而不是相似变换

如点V相邻的格子不包含特征点，这时候需要正则项。利用相邻顶点的变换，求得局部单应性矩阵，从而求得变换后的V’，但实际变换后会变成V*，即两者的欧氏距离就是惩罚项

此处顶点V’同样可以利用相邻四点加权和得到，且权重相等，即相邻四点的平均值得到V’，所以这里的Wv和Wvi两个权重矩阵只是为了取得对应的顶点坐标，即V*变换后还是V，不受影响，而V’是取周围四个顶点的坐标平均值，从而得到了正则项

4.尺度项

已有的方法选择参考帧不懂，其余投影到该图像的坐标系，将选定图像的尺度模型传导到其余帧，但是当图像变多时，原理参考帧的约束变弱，误差累积导致扭曲变形严重。

本文认为尺度约束必须平等对待所有图像，最终得到近似于正交投影的结果，利用图像四条边来对尺度进行度量，而图像内部通过正则项进行传导，但是透视变换不能保持图像的尺度，因此根据特征匹配区域估计每幅图像所需的缩放因子，然后计算每幅图像变换后的尺度，分别进行约束，从而保持合理的尺度。

方法：存在重叠区域的两幅图像，在对应的特征点上构建凸多边形Pi和Pj，将多边形周长壁纸作为两幅图像的相对尺度比，对每幅图像估计一个绝对的缩放因子s

进而尺度项求解如下，其中S(I)是对图像I尺度的度量，其中Bt ,Bb ,Bl ,Br分别的I图像的上下左右四条边，约束的是上下和左右两条边的长度和，而不是直接约束它们的长度，因此也允许一定范围内的透视变换。这一项约束是非线性的成分，需要迭代优化。

5.可选约束

网格模型的一大优势就是很容易添加各种约束，对于典型的城市建筑和摄像机存在回路的情况，我们可以设计不同的先验约束，以达到更好的效果。

（1）直线型约束：直线和平行性质也是一种经常使用的约束（透视变换可以保持直线性质但一般不保持平行性质，因此一般都使用直线约束）

方法：先提取直线，并在一条直线上均匀采点n个

采样密度按照每个格子都包含点为准。为了保持直线型，需要约束这些采样点构成的线段全都处于同一方向。即约束能量函数为

其中pi的具体坐标可以通过其所在的格子四个顶点求得。同样对该能量函数迭代优化，求解得到V

（2）方向约束：建筑场景往往包含一些垂直或者水平的消失线，这些直线包含很强的先验信息。在保持它们笔直的同时，还可以施加方向约束，使得在最终的全景图上也是垂直或者水平。对水平和垂直线分类，利用RANSAC计算消失点，水平类的y坐标相等，垂直类的x坐标相等。能量函数如下：（其中，Wpx ,Wpy分别代表p点在x方向和y方向的插值向量）

加上这个约束之后，比单纯的直线约束有更好的效果

（3）闭合环路约束：这个约束主要用于360°全景应用场景，全景图首尾必须要能够连接上。存在一个接近全进图长度的固定偏移量，则能量函数如下：（CL就是配准的特征点对集合）

（其中，u可以用所有特征点的平均值来表示，但这样会破坏方程的稀疏性，影响求解速度，因此不直接对特征点进行配准，而是选取特征点组成的有向边施加配准约束），则能量函数如下：（其中Ce是首尾两幅图像上配准的所有有向边集合，pi和qi是有向边ei的两个端点，两端点相减就消除了u，稀疏性也得以保持）

6.非线性能量函数的迭代优化方法

下面介绍了如何对非线性能量函数进行迭代求解

例：尺度项需要计算边长，因此是非线性，如Bt设单位方向向量Bt*，则

当Bt已知，则Bt的长度可以线性表达，假设每轮迭代，Bt的方向变化不大，已当前网格坐标计算的Bt的方向来代替Bt，从而能够更新网格坐标，并得到尺度项：（其中W和H是原图像的宽和高，对应原公式中的S(Ii)，四个B都可以利用顶点坐标V线性表达）

但是由于假设图像的边在每次迭代中方向变化不大，因此又要加上方向约束

从而尺度项可以替换成如下方式，其中lamda是平衡鲁棒性和收敛速度的参数，本文选作0.5

同理，在可选约束中的直线约束，由于al,bl未知，直线型约束也是非线性的。
假设直线在每轮迭代中变化不大，用当前顶点坐标V计算直线方向al.bl.
然后进行线性求解并迭代

加快计算速度，即等式两侧都在左边乘上A矩阵的转置

注意：本文对于遮挡问题，不能很好的处理，对于街道上的车辆和背后的房子存在很大的深度差异时对车辆无法配准，因此引入了交互的方式、手动勾画出车辆区域，避免融合时车辆被断开

算法结尾：本文对于广角镜头的径向畸变仍然能够较好的自动处理，还可以用作简单物体的纹理展开（地球仪）

4.工作结尾：得到最优的网格顶点变换V*后，可以把输入图像映射到一个公共的全景坐标系。

非重叠区域，直接取这些像素的颜色值即可，但是对于重叠区域，通过融合处理

（1）Graph-cut无缝融合算法

（2）改进算法，传统拼接问题中，配准误差小，因此无缝拼接处理的是光照等条件变化产生的颜色不一致问题，即颜色差能在一定程度上反映配准质量。但是当视差大的情况下传统颜色差就不适用

其中sigma1为0.0003D，D表示图像的对角线长度

为了更精细的估计两幅图的一致性，我们仍然需要结合颜色差的方法，对颜色差归一化并使用高斯函数平滑

（3）利用泊松融合来消除配准后的接缝，得到Graph-cut的结果以后，优化如下能量函数：