图像拼接方向：《Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching》论文理解
论文：《Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching 》CVPR 2021
链接：Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching
本文目录
1 论文创新点
- 设计了一种新的匹配策略，通过使用投影不变量探索共面子区域来获得一致的点和线对。这种匹配遵循单应性的基本共面要求，从而可以提供准确的预对准，同时消除伪影和非均匀失真；
- 本文是第一个将全局共线结构引入目标函数，以指定和平衡图像扭曲所需的特征，这可以在减轻失真的同时保留局部和全局结构；
- 依据人类视觉对线性结构的敏感性，提出了一个全面的度量标准（Benchmark）来量化图像拼接中线性结构的保留（即量化两幅图像中点的共线性和匹配线对的差异）；
2 具体实现思路
- 基于一致线点约束的预对齐：（1）线检测——划分出共面子区域；（2）根据投影不变量计算相似度，对子区域进行匹配；（3）增加和细化匹配点对，通过对齐区域之间的单应性来匹配直线；（4）基于对偶特征构造全局预对准；
- 全局线引导网格变形；
3 文章使用的评价指标
- 点匹配平均RMSE；
- 文中所提出的共线性定量评价；
4 文章内容解析
4.1 基于一致线点约束的预对齐
4.1.1 基于直线检测的子区域划分
文中使用LSD方法[1]用于获得原始线段，然后根据梯度方向将线的邻域划分为左侧和右侧，因为位于线的不同侧的点可能不共面。
文中将直线的梯度定义为其上所有点的平均梯度。
如上图所示，在直线附近，从任何像素到直线的距离小于垂直平分线的α·len（l），小于β·len。在原论文的实验中，α和β分别设置为2.0和0.5。
4.1.2 基于点线不变性的子区域匹配
为了匹配共面子区域，最终匹配更多的线和点对，文中提出投影不变量特征数（CN）来构造线-点不变量，并在此基础上定义子区域之间的相似性。其中CN的定义如下：
设置
K
K
K为图像域，
P
m
(
K
)
P^m(K)
Pm(K)为
K
K
K上的m维投影空间，
{
P
i
}
i
=
1
,
2
,
.
.
.
,
R
\{P_i\}_{i=1,2,...,R}
{Pi}i=1,2,...,R为
P
m
(
K
)
P^m(K)
Pm(K)中构造闭环的不同点（
P
(
R
+
1
)
=
P
1
P_(R+1)=P_1
P(R+1)=P1）在线段
{
P
i
P
i
+
1
}
i
=
1
,
2
,
.
.
.
,
R
\{P_iP_{i+1}\}_{i=1,2,...,R}
{PiPi+1}i=1,2,...,R上有不同的点
{
Q
(
j
)
}
i
=
1
,
2
,
.
.
.
,
S
\{Q^(j)\}i=1,2,...,S
{Q(j)}i=1,2,...,S，每个点
Q
i
(
j
)
Q_i^{(j)}
Qi(j)可以由
P
i
P_i
Pi和
P
i
+
1
P_{i+1}
Pi+1线性表示为
Q
i
(
j
)
=
a
i
(
j
)
P
i
+
b
i
(
j
)
P
i
+
1
Q_i^{(j)}=a_i^{(j)}P_i+b_i^{(j)}P_{i+1}
Qi(j)=ai(j)Pi+bi(j)Pi+1。令
P
=
{
p
i
}
i
=
1
,
2
,
.
.
.
,
R
P=\{p_i\}_{i=1,2,...,R}
P={pi}i=1,2,...,R，
{
Q
i
(
j
)
}
i
=
1
,
2
,
.
.
.
,
R
j
=
1
,
2
,
.
.
.
,
R
\{Q_i^{(j)}\}_{i=1,2,...,R}^{j=1,2,...,R}
{Qi(j)}i=1,2,...,Rj=1,2,...,R，则该量称为
P
P
P和
Q
Q
Q的特征数为如下所示：
C
N
(
P
,
Q
)
=
Π
i
=
1
R
(
Π
j
=
1
S
(
a
i
(
j
)
/
b
i
(
j
)
)
)
(
1
)
CN(P,Q) = \Pi_{i=1}^R(\Pi ^S_{j=1} (a_i^{(j)}/b_i^{(j)})) (1)
CN(P,Q)=Πi=1R(Πj=1S(ai(j)/bi(j)))(1)
详细说明CN的用处：
由于CN的构造需要一个闭环并且每条边上的点数相等，因此使用5个点来构造一个三角形，并且每条边上都有相等的交点。
如文中下图所示， K l 1 K_l^1 Kl1和 K l 2 K_l^2 Kl2是红线l上的两个端点。 P 1 , P 2 , P 3 P_1,P_2,P_3 P1,P2,P3是直线同一侧的三个非共线特征点，用红点标记。任意三个点（ K l 1 , K l 2 , P 1 , P 2 , P 3 K_l^1,K_l^2,P_1,P_2,P_3 Kl1,Kl2,P1,P2,P3）不共线。
首先，使用两个点 P i , P j P_i,P_j Pi,Pj表示一条直线，即 P i P j ˉ \bar{P_iP_j} PiPjˉ，然后两条直线 P i P j ˉ , P k P m ˉ \bar{P_iP_j},\bar{P_kP_m} PiPjˉ,PkPmˉ的交点表示为 < P i P j ˉ , P k P m ˉ > <\bar{P_iP_j},\bar{P_kP_m}> <PiPjˉ,PkPmˉ>。然后可以获得上图中几个相交点，包括： U 1 , U 2 , U 3 , U 4 , U 5 , U 6 U_1,U_2,U_3,U_4,U_5,U_6 U1,U2,U3,U4,U5,U6。
然后就得到了 △ K l 1 U 1 K l 2 \triangle{K_l^1U_1K_l^2} △Kl1U1Kl2，然后计算 P = K l 1 , U 1 , K l 2 P={K_l^1,U_1,K_l^2} P=Kl1,U1,Kl2， Q = P 1 , U 2 , U 3 , P 3 , U 5 , U 6 Q={P_1,U_2,U_3,P_3,U_5,U_6} Q=P1,U2,U3,P3,U5,U6的CN值。
之后，在另外一个视图中，例如上图中的下方的子图，可以使用上述同样的方法构造得到 △ K l 1 ′ U 1 ′ K l 2 ′ \triangle{K_l^{1'}U_{1'}K_l^{2'}} △Kl1′U1′Kl2′，然后得到CN特征值。
通过比较两个CN值是否一样来判断是否处于同一子区域。
通过不同的特征点可以得到一系列的CN值。
接着，文中给出了完整的使用CN来确定共面子区域的流程如下：
上述详细讲解来自[3]
4.1.3 基于双特征的预对齐
上述详细讲解来自[3]
4.2 全局线引导网格变形
4.2.1 能量函数的定义
文中进一步指出：预对齐估计的全局单应性只提供了一个近似的变换，但仍然存在失真和弯线。 凸线越长，直线弯曲越大。 为了解决这个问题，文中探索了线保持约束的全局共线结构，并将其与点线对齐和能量函数中的失真项结合起来。
上述详细讲解来自[3]
4.2.2 线保留项
上述详细讲解来自[3]
4.2.3 局部扭曲的合并算法
上述详细讲解来自[3]
4.2.4 点线对齐和失真控制
上述详细讲解来自[3]
4.3 共线性的定量评价
为了量化线性结构的拼接性能，作者设计了一种新的评估方法，该方法考虑了三个方面：
- 点的共线性；
- 匹配线的距离；
- 匹配线方向的差异；
上述详细讲解来自[3]
4.4 消融实验结果
上述详细讲解来自[3]
上述详细讲解来自[3]
参考文献
[1] Rafael Grompone V on Gioi, Jérémie Jakubowicz, Jean Michel Morel, and Gregory Randall. Lsd: a line segment detector. Image Processing On Line, 2:35–55, 2012. 2, 3, 4.
[2] Jia Q, Li Z J, Fan X, et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021: 12186-12195.
[3] 论文笔记 Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching, https://zhuanlan.zhihu.com/p/517986230.
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
