图像拼接《Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching》论文理解

图像拼接方向:《Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching》论文理解

论文:《Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching 》CVPR 2021
链接:Leveraging Line-Point Consistence To Preserve Structures for Wide Parallax Image Stitching

1 论文创新点

  1. 设计了一种新的匹配策略,通过使用投影不变量探索共面子区域来获得一致的点和线对。这种匹配遵循单应性的基本共面要求,从而可以提供准确的预对准,同时消除伪影和非均匀失真;
  2. 本文是第一个将全局共线结构引入目标函数,以指定和平衡图像扭曲所需的特征,这可以在减轻失真的同时保留局部和全局结构;
  3. 依据人类视觉对线性结构的敏感性,提出了一个全面的度量标准(Benchmark)来量化图像拼接中线性结构的保留(即量化两幅图像中点的共线性和匹配线对的差异);

2 具体实现思路

  1. 基于一致线点约束的预对齐:(1)线检测——划分出共面子区域;(2)根据投影不变量计算相似度,对子区域进行匹配;(3)增加和细化匹配点对,通过对齐区域之间的单应性来匹配直线;(4)基于对偶特征构造全局预对准;
  2. 全局线引导网格变形;

3 文章使用的评价指标

  1. 点匹配平均RMSE;
  2. 文中所提出的共线性定量评价;

4 文章内容解析

4.1 基于一致线点约束的预对齐

4.1.1 基于直线检测的子区域划分

文中使用LSD方法[1]用于获得原始线段,然后根据梯度方向将线的邻域划分为左侧和右侧,因为位于线的不同侧的点可能不共面。
文中将直线的梯度定义为其上所有点的平均梯度。
在这里插入图片描述
如上图所示,在直线附近,从任何像素到直线的距离小于垂直平分线的α·len(l),小于β·len。在原论文的实验中,α和β分别设置为2.0和0.5。

4.1.2 基于点线不变性的子区域匹配

为了匹配共面子区域,最终匹配更多的线和点对,文中提出投影不变量特征数(CN)来构造线-点不变量,并在此基础上定义子区域之间的相似性。其中CN的定义如下:

设置 K K K为图像域, P m ( K ) P^m(K) Pm(K) K K K上的m维投影空间, { P i } i = 1 , 2 , . . . , R \{P_i\}_{i=1,2,...,R} {Pi}i=1,2,...,R P m ( K ) P^m(K) Pm(K)中构造闭环的不同点( P ( R + 1 ) = P 1 P_(R+1)=P_1 P(R+1)=P1)在线段 { P i P i + 1 } i = 1 , 2 , . . . , R \{P_iP_{i+1}\}_{i=1,2,...,R} {PiPi+1}i=1,2,...,R上有不同的点 { Q ( j ) } i = 1 , 2 , . . . , S \{Q^(j)\}i=1,2,...,S {Q(j)}i=1,2,...,S,每个点 Q i ( j ) Q_i^{(j)} Qi(j)可以由 P i P_i Pi P i + 1 P_{i+1} Pi+1线性表示为 Q i ( j ) = a i ( j ) P i + b i ( j ) P i + 1 Q_i^{(j)}=a_i^{(j)}P_i+b_i^{(j)}P_{i+1} Qi(j)=ai(j)Pi+bi(j)Pi+1。令 P = { p i } i = 1 , 2 , . . . , R P=\{p_i\}_{i=1,2,...,R} P={pi}i=1,2,...,R { Q i ( j ) } i = 1 , 2 , . . . , R j = 1 , 2 , . . . , R \{Q_i^{(j)}\}_{i=1,2,...,R}^{j=1,2,...,R} {Qi(j)}i=1,2,...,Rj=1,2,...,R,则该量称为 P P P Q Q Q的特征数为如下所示:
C N ( P , Q ) = Π i = 1 R ( Π j = 1 S ( a i ( j ) / b i ( j ) ) ) ( 1 ) CN(P,Q) = \Pi_{i=1}^R(\Pi ^S_{j=1} (a_i^{(j)}/b_i^{(j)})) (1) CN(P,Q)=Πi=1R(Πj=1S(ai(j)/bi(j)))(1)
详细说明CN的用处:
在这里插入图片描述

由于CN的构造需要一个闭环并且每条边上的点数相等,因此使用5个点来构造一个三角形,并且每条边上都有相等的交点。

如文中下图所示, K l 1 K_l^1 Kl1 K l 2 K_l^2 Kl2是红线l上的两个端点。 P 1 , P 2 , P 3 P_1,P_2,P_3 P1,P2,P3是直线同一侧的三个非共线特征点,用红点标记。任意三个点( K l 1 , K l 2 , P 1 , P 2 , P 3 K_l^1,K_l^2,P_1,P_2,P_3 Kl1,Kl2,P1,P2,P3)不共线。

首先,使用两个点 P i , P j P_i,P_j Pi,Pj表示一条直线,即 P i P j ˉ \bar{P_iP_j} PiPjˉ,然后两条直线 P i P j ˉ , P k P m ˉ \bar{P_iP_j},\bar{P_kP_m} PiPjˉ,PkPmˉ的交点表示为 < P i P j ˉ , P k P m ˉ > <\bar{P_iP_j},\bar{P_kP_m}> <PiPjˉ,PkPmˉ>。然后可以获得上图中几个相交点,包括: U 1 , U 2 , U 3 , U 4 , U 5 , U 6 U_1,U_2,U_3,U_4,U_5,U_6 U1,U2,U3,U4,U5,U6

然后就得到了 △ K l 1 U 1 K l 2 \triangle{K_l^1U_1K_l^2} Kl1U1Kl2,然后计算 P = K l 1 , U 1 , K l 2 P={K_l^1,U_1,K_l^2} P=Kl1,U1,Kl2 Q = P 1 , U 2 , U 3 , P 3 , U 5 , U 6 Q={P_1,U_2,U_3,P_3,U_5,U_6} Q=P1,U2,U3,P3,U5,U6的CN值。

之后,在另外一个视图中,例如上图中的下方的子图,可以使用上述同样的方法构造得到 △ K l 1 ′ U 1 ′ K l 2 ′ \triangle{K_l^{1'}U_{1'}K_l^{2'}} Kl1U1Kl2,然后得到CN特征值。

通过比较两个CN值是否一样来判断是否处于同一子区域。

通过不同的特征点可以得到一系列的CN值。

接着,文中给出了完整的使用CN来确定共面子区域的流程如下:
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
上述详细讲解来自[3]

4.1.3 基于双特征的预对齐

在这里插入图片描述
上述详细讲解来自[3]

4.2 全局线引导网格变形

4.2.1 能量函数的定义

文中进一步指出:预对齐估计的全局单应性只提供了一个近似的变换,但仍然存在失真和弯线。 凸线越长,直线弯曲越大。 为了解决这个问题,文中探索了线保持约束的全局共线结构,并将其与点线对齐和能量函数中的失真项结合起来。

在这里插入图片描述
上述详细讲解来自[3]

4.2.2 线保留项

在这里插入图片描述
在这里插入图片描述
上述详细讲解来自[3]

4.2.3 局部扭曲的合并算法

在这里插入图片描述
在这里插入图片描述
上述详细讲解来自[3]

4.2.4 点线对齐和失真控制

在这里插入图片描述
在这里插入图片描述
上述详细讲解来自[3]

4.3 共线性的定量评价

为了量化线性结构的拼接性能,作者设计了一种新的评估方法,该方法考虑了三个方面:

  1. 点的共线性;
  2. 匹配线的距离;
  3. 匹配线方向的差异;

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
上述详细讲解来自[3]

4.4 消融实验结果

在这里插入图片描述
在这里插入图片描述
上述详细讲解来自[3]

在这里插入图片描述

在这里插入图片描述
上述详细讲解来自[3]

参考文献

[1] Rafael Grompone V on Gioi, Jérémie Jakubowicz, Jean Michel Morel, and Gregory Randall. Lsd: a line segment detector. Image Processing On Line, 2:35–55, 2012. 2, 3, 4.
[2] Jia Q, Li Z J, Fan X, et al. Leveraging line-point consistence to preserve structures for wide parallax image stitching[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021: 12186-12195.
[3] 论文笔记 Leveraging Line-point Consistence to Preserve Structures for Wide Parallax Image Stitching, https://zhuanlan.zhihu.com/p/517986230.

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
辽B代驾管理系统对代驾订单管理、用户咨询管理、代驾订单评价管理、代驾订单投诉管理、字典管理、论坛管理、公告管理、新闻信息管理、司机管理、用户管理、管理员管理等进行集中化处理。经过前面自己查阅的网络知识,加上自己在学校课堂上学习的知识,决定开发系统选择小程序模式这种高效率的模式完成系统功能开发。这种模式让操作员基于浏览器的方式进行网站访问,采用的主流的Java语言这种面向对象的语言进行辽B代驾管理系统程序的开发,在数据库的选择上面,选择功能强大的Mysql数据库进行数据的存放操作。辽B代驾管理系统的开发让用户查看代驾订单信息变得容易,让管理员高效管理代驾订单信息。 辽B代驾管理系统具有管理员角色,用户角色,这几个操作权限。 辽B代驾管理系统针对管理员设置的功能有:添加并管理各种类型信息,管理用户账户信息,管理代驾订单信息,管理公告信息等内容。 辽B代驾管理系统针对用户设置的功能有:查看并修改个人信息,查看代驾订单信息,查看公告信息等内容。 辽B代驾管理系统针对管理员设置的功能有:添加并管理各种类型信息,管理用户账户信息,管理代驾订单信息,管理公告信息等内容。 辽B代驾管理系统针对用户设置的功能有:查看并修改个人信息,查看代驾订单信息,查看公告信息等内容。 系统登录功能是程序必不可少的功能,在登录页面必填的数据有两项,一项就是账号,另一项数据就是密码,当管理员正确填写并提交这二者数据之后,管理员就可以进入系统后台功能操作区。项目管理页面提供的功能操作有:查看代驾订单,删除代驾订单操作,新增代驾订单操作,修改代驾订单操作。公告信息管理页面提供的功能操作有:新增公告,修改公告,删除公告操作。公告类型管理页面显示所有公告类型,在此页面既可以让管理员添加新的公告信息类型,也能对已有的公告类型信息执行编辑更新,失效的公告类型信息也能让管理员快速删除。新闻管理页面,此页面提供给管理员的功能有:新增新闻,修改新闻,删除新闻。新闻类型管理页面,此页面提供给管理员的功能有:新增新闻类型,修改新闻类型,删除新闻类型。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wyypersist

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值