图像拼接——最佳seam 1

1、能量函数

  假设有一组对齐图像：$I_0$ 和$I_1$，$P$为两幅图像的重叠区域。整幅图像(这里指的是拼接后的图像)的标签$L$={0,1}，其中0表示图像$I_0$，1表示图像$I_1$。给重叠区域的所有像素 $p\in$ $P$分配一个标签(0 or 1)，获得标签集：$l$={$l_1$, $l_2$, …, $l_P$}。我们要做的是找到一组$l$，使能量函数$E(l)$最小：

where：$D_p$($l_p$)是数据项，代表为像素$p$分配标签$l_p$的损失；$S_p{,}_q$($l_p$, $l_q$)是平滑项，代表为一对像素( p,q) ∈N 分配一组标签($l_p$，$l_q$) 的损失； $N\subset$ $P\ast P$像素邻域面。

数据项定义为：

where：$\mu$ 代表较大的损失值; $I_0$$\bigcap$$P$代表 $I_0$和区域$P$的共同边界。

平滑项定义：

其中：
  式（4）是2范式，代表欧式色差距离指标，平滑项代表像素$p$与领域中其它节点不连续的惩罚。$p$和$q$的差异越小，它们属于同一目标或者同一背景的可能性越大，对应的损失越大；$p$和$q$的差异很大，则说明2个像素位于目标和背景的边缘，被分割的可能性越大，损失能量越小。

2、Perception-based seam cutting for image stitching

2.1、新的平滑项

(a)、Euclidean-metric(欧几里得距离)可视化能量图，（b）、(a)对应的分割缝，（c）、sigmoid-metric可视化能量图，（d）、©对应的分割缝。
注意：可视化能量图，是将平滑项计算得到的能量图（一个二维矩阵——灰度图），作伪彩色处理得到的可视化结果。具体参考。

  从图（b）中可以发现，$l_{\ast }$的缝穿过了误匹配区域（图(a)中亮蓝色的线）；相反，图（b）中展示地$l_{+}$的缝避开了误匹配区域（图（c）中红色线）。

  特别是，颜色的感知是非线性的，因为它有一个颜色识别阈值，这意味着人眼无法区分某些颜色，即使它们不同。设$\tau$为阈值，对颜色辨别的感知可表示为:

  我们想定义一个质量指标来衡量可见色彩差异，不可见项的代价接近0，可见项的代价接近1。定义为：

   如何定义$\tau$ 和 $\kappa$。在重叠区域$P$，阈值$\tau$和色差相比较，将重叠区域划分为对齐区域和非对齐区域；这和通过阈值将灰度图划分为前景图和背景图类似。所以，本文使用大律法（Otsu’s）计算适合的$\tau$。另一方面，$\kappa$表示在$\tau$ 附近颜色分辨灵敏度上升的速度。设$\kappa$ = 1/$ϵ$ ， $ϵ$的经验值是0.06，并且 Otsu’s的 间隔 r = 0.06。

大律法算法通过设定间隔 r，将灰度区间划分为 n 分。
1、统计各灰度区间像素点的个数。
2、遍历各阈值(阈值是 灰度区间的边界值)
3、根据阈值将所有像素点分为两类：A类、B类
   计算类A的所有像素值的方差SA，计算类B中所有像素值的方差SB
    计算类A中所有像素值之和IA，计算类B中所有像素点的像素值的像素值之和IB
    计算像素值方差的加权和S=IA*SA+SB*IB
4、最小S对应的阈值，既是结果

   平滑项定义为：

2.2、显著性权重

（a）、sigmoid-metric色彩差异 能量可视化图。（b）、Euclidean-metric对应的分割缝（$l_{\ast }$）、（c）、显著性图像、（d）、sigmoid-metric对应的分割缝（$l_{+}$）。

   上图所示，$l_{\ast }$ 和 $l_{+}$ 的分割缝穿过误匹配区域。特别值得注意地是，对图像内容的感知是不均匀的，人眼更多地关注显著性内容。所以，显著区域的鬼影比非显著区更加明显。
   为了从观察中获益，我们定义了显著性权重：

   where：$\omega$(.)表示重叠区域$P$的显著性平均像素值，并且归一化$W$ 到[1,2]范围，避免过度惩罚。另外，如果 p 或 q位于重叠区域 P的边界，则 W=0。
   基于视觉的能量函数被定义为：

3、Parallax-tolerant Image Stitching

   图像拼接并不一定需要在重叠区域完美对齐图像。当H被用于对齐大视差图像时，局部区域的尺寸和对齐质量是相互矛盾的。

   本文策略：我们首先提出了一种有效的随机算法来寻找不精确局部对齐的单应性。在这里，我们通过从大致对齐的图像中找到一个可信的接缝，并使用接缝成本对单应性进行评分，来预测单应性实现局部缝合的效果。我们开发了一种基于图形切割的缝查找方法，该方法可以通过同时考虑几何对齐和图像内容，从仅粗略对齐的图像中估计一个可信的缝。一旦我们找到了最佳单应性，我们使用它来预对齐输入图像，然后使用内容保持翘曲来细化对齐。

3.1.、Alignment Model Selection

  使用全局H寻找最佳对齐和最佳缝，再使用spatially-varying warping来进行变换。

3.2、Alignment Quality Assessment

  想要评估上文中使用混合对齐（首先使用H warp和 content-preserving
warping）拼接图的质量。可以通过比较变换图和参考图，来评估两幅图像的对齐效果。然而，这种方式在两幅图像的重叠区域，并不能稳定地预测最佳缝。另外，拼接图的图像内容效果并没有被考虑。在拼接中，像边缘这种显著性特征应该被很好地对齐；然而，类似天空这样的图像区域，并不需要非常好地对齐。最后，这种方法会非常慢，因为当我们评估随机算法内部的对齐质量时，它需要运行content-preserving
warping。

  作者方法：首先，我们通过评估图像边缘而不是原始图像，对图像对齐质量进行评价。其次，我们只评估单应性如何支持拼接。如果只需要对全局变换进行微小的调整，那么感知内容的变换是非常有效的，这可以证明这种简化是合理的。但它也带来了一个挑战：我们方法中的单应性被设计为松散的，不能准确对齐两个图像。然后，我们需要预测对齐的效果如何，才能从大致对齐的图像实现无缝拼接。我们通过从大致对齐的图像中找到一个可信的接缝，并使用接缝成本来对接缝进行评分，来解决这个问题。

  我们首先对输入图像进行下采样，以提高速度和容忍小的偏差。使用Canny边沿检测得到输入图像的边缘图。这个边缘图是低通滤波的，可以容忍小的误匹配。计算 warp edge map 和 reference image‘s edge map 的差异，得到差异图$E_d$。在差异图$E_d$中，最佳拼接缝应该避免通过大差异像素点。使用图割算法寻找最佳拼接缝。简而言之，将重叠区域的每个像素点作为一个节点。
  我们定义两个相邻像素点间$s$和$t$的边缘差异为：

  where：我们使用 对齐置信函数$f_c(s)$加权边缘花费。计算$f_c(s)$是为了进一步说明单应性只能大致对齐两幅图像，而content-preserving warping将用于细化对齐。因为只使用全局H，只能粗略配准；content-preserving warping 可以提高配准。所以要弱化仅仅使用全局H带来的误匹配。f 通过 SIFT 特征点分布情况来计算。

  where：$P_i$是SIFT特征点的位置，$P_s$是像素点$s$的位置。$g$是高斯函数，把SIFT特征点的效果传播到它的邻域中（平滑吧）。$\delta$是一个常数，默认为0.01。

3.2.1、Homography Screening

  有些H并不会带来好的拼接结果，可以在评估它们的对齐质量之前将它们检测出来，并忽略掉。我们通过计算H如何偏离其最佳拟合相似变换来衡量单应性H变换图像I的视角失真。 $C_i$表示输入图像$I$的四个顶点坐标，$\frac{}{C_i}$是$C_i$经$H$变换后的结果。定义最佳拟合相似变换(best-fitting similarity transformation)$\widehat{H_s}$

  得到使等式自小的$\widehat{H_s}$。使用$\widehat{H_s}$变换$C_i$得到新的顶点坐标$\widehat{C_i}$，然后计算$\frac{}{C_i}$和$\widehat{C_i}$坐标点的距离差。如果使用图片尺寸归一化后的距离和大于阈值（默认为0.01），该$H$被忽略。
1、使用$H$计算$I$四个顶点$C_i$的新坐标$\frac{}{C_i}$；
2、利用公式(3)得到最佳拟合相似变换$\widehat{H_s}$；
3、使用$\widehat{H_s}$计算$I$四个顶点$C_i$的新坐标$\widehat{C_i}$；
4、计算变换坐标 $\frac{}{C_i}$ 和 $\widehat{C_i}$ 的距离差，判断是否小于阈值 $\delta$。

3.3. Alignment Algorithm Summary

1. 检测和匹配输入图像的特征点(SIFT)，并且计算输入图像的 edge map。
2. 随机选择一个种子特征点，并将其空间上最近的近邻一一分组，直到所选的特征集无法匹配具有预定义阈值的单应拟合为止。我们为每个特征点维护一个惩罚值，以确定在迭代过程中它被选择的时间。当一个特征点被选中时，我们将其惩罚值增加1。在每次迭代中，要选择一个有效的种子，一个特征点之前不应该被选择为种子，并且它的惩罚分数低于所有特征点的平均惩罚值。
3. 使用3.2节中的算法评估第2步中最佳拟合相似变换的对齐质量，如果H满足先前先前定义的质量阈值，转到第4步。否则，如果平均惩罚值很小，转到第2步。否则选择迭代过程中估计的最佳单应性，然后转到步骤4。
4. 使用最优单应性$H$对图像进行预对齐，并使用由所选特征点集引导的content-preserving warping 来细化对齐，如在第3.3.1节中描述。