Constructing image panoramas using dual-homography warping - 双投影变换矩阵的拼缝方法

最新推荐文章于 2024-02-18 08:30:01 发布

kebijuelun

最新推荐文章于 2024-02-18 08:30:01 发布

阅读量1.3k

点赞数

分类专栏： paper_reading 文章标签：图像识别神经网络机器学习

本文链接：https://blog.csdn.net/kebijuelun/article/details/107623743

版权

95 篇文章 11 订阅

订阅专栏

Paper name

Constructing image panoramas using dual-homography warping

Paper Reading Note

URL: https://ieeexplore.ieee.org/document/5995433

在这里插入图片描述

基于单homography的方法要取得较好的结果需要待拼接图片满足以下假设：
- 待拼接图片的采集场景足够远，以致于可以被当成是一个平面
- 或者待拼接图片在被采集的时候相机是严格绕光心旋转
虽然上述的场景如果是在摄像头严格绕其光心旋转采集的情况下是一般能较好拼接，但是这样严格的采集条件基本上是难以保证的
在难以保证上述假设的情况下图片往往细节处无法都完全对齐，只能通过seam-finding、blending等后处理方式来降低不对齐带来的影响
作者因此提出了使用两个homography，同时将两个homography进行blending操作，来提高图像对齐质量

在这里插入图片描述

作者提出的方式是将图片估计得到的两个homography进行blending操作来获取最终的homography

其中 $H_{g}$ ， $H_{d}$ 分别代表地平面和远平面的homography， $w_{ij}$ 是对于每个像素（i，j）都存在的权重用于控制每个homography对与该像素的贡献
求取两个homography $H_{g}$ ， $H_{d}$ 的方法：
- 首先SIFT计算得到图片中的关键点
- 基于特征点的空间位置及K-means算法得到图片中特征点聚类
- RANSAC对每个类的特征点求取一个homography，其中大于95%的特征点一致则达到迭代要求，不满足的点则被判定为outlier点： $G^{'}_{g}$ ， $G^{'}_{d}$
求取融合两个homography的权重：

其中 $d_{g}$ ， $d_{d}$ 分别是像素点距离 $G^{'}_{g}$ ， $G^{'}_{d}$ 中的最近特征点的距离的倒数

在这里插入图片描述

不同于单homography的方法可以简单的累乘来得到一个单个变换矩阵，但是这里的非线性warping不能这样直接处理
对于上图来看，多图片warp的计算方式为：
- $I_{0}$ 图片不需要进行warp
- $I_{1}$ 往 $I_{0}$ 上warp的homography可以通过上节的方法求得
- 对于 $I_{2}$ ，首先可以将 $I_{2}$ warp到 $I_{1}$ 上，对于warp $I_{2}$ 过去的图与 $I_{1}$ 的交集部分可以通过以下方式求得
- 对于没有交集的部分，使用 $I_{1}$ 的Homography的边缘部分的H填充得到，边缘部分的H由边缘所有点的Homography加权得到， $I_{2}$ 上的像素warp过去离得越近的边缘点的权重越大

作者介绍了两种后处理技术，接缝混合（Seam-Blendi）和矫直（Global Straighteni），用于增强最终结果的美观性。接缝混合旨在减少重叠图像之间的可见接缝。矫直用于减少双单应性翘曲所产生的曲线效应

在这里插入图片描述

在这里插入图片描述

对比Autostich一般10-15s的拼接时间，该方法拼接时间较长：
- homography 估计要5-10s
- seamcut要5-10s
- straightening要5-10s
两个平面的假设符合能够满足大部分安防场景的拼接

关注

专栏目录