计算机视觉之全景拼接

最新推荐文章于 2025-03-11 13:08:35 发布

Eating Lee

最新推荐文章于 2025-03-11 13:08:35 发布

阅读量2.4k

点赞数 5

分类专栏：计算机视觉文章标签：计算机视觉 python 全景拼接

本文链接：https://blog.csdn.net/qq_40369926/article/details/88918489

版权

全景拼接，顾名思义就是将同一场景下几张图片拼接在一起，形成一张全貌图。现在的手机相机普遍有这一个功能，今天我们就来学习一下这一有趣的东西，世界如此之大，无奇不有。

一、图像拼接原理

1.提取图像的特征和匹配（SIFT算法）

2.将匹配转化成齐次坐标

3.估计单应性矩阵（RANSAC算法）

4.拼接图像

二、全景拼接实现

1.程序代码

2.homography.make_homog()

3.homography.H_from_ransac（）

4.warp.panorama（）

三、结果分析

1.全景拼接

2.景深差小的情况

2.景深差大的情况

一、图像拼接原理

首先，我们先了解一下全景拼接的原理。

全景拼接的基础流程如下：

（1）针对同一场景拍摄系列图像

（2）提取图像的特征和匹配

（3）将匹配转化成齐次坐标点

（4）估计单应性矩阵

（5）拼接图像

接下来我们就这几部分分别讲解，当然，第一个步骤拍照，就不赘述了，地球人都会的

1.提取图像的特征和匹配（SIFT算法）

本文运用SIFT算法来提取图像的特征和匹配，是因为SIFT算法对于旋转和尺度均具有不变性，并且对于噪声、视角变化和光照变化具有良好的鲁棒性。关于SIFT算法，博主在之前的博客已经详细讲述了，这里就不重复了，详见下方链接：

https://blog.csdn.net/qq_40369926/article/details/88597406

2.将匹配转化成齐次坐标

将匹配转化成齐次坐标是为了矩阵乘法和点的操作更容易，因为后面计算的单应性矩阵是齐次的。

为什么要引入齐次坐标呢？这是因为齐次坐标可以将图像的各种变化统一成矩阵乘法，详见下方链接：

https://blog.csdn.net/saltriver/article/details/79680364

3.估计单应性矩阵（RANSAC算法）

单应性变换是将一个平面内的点映射到另一平面内的二维投影变换，而两张图像变换的对应关系就叫做单应性矩阵,值得注意的是单应性矩阵是齐次的，单应性变换用数学表示如：

其中， $h_2_2$ 为1。

因为 $h_2_2$ 为1，所以单应性矩阵H有8个自由度，求解图像之间的单应性变换其实就是求解单应性矩阵H中的这8个自由度。单应性矩阵可以通过SIFT找到的特征对应点对计算出来。一个完全映射变换需要8个自由度。根据对应点越是，每个对应点可以写出两个方程，分别对应于 $x$ 和 $y$ 坐标，因此，计算单应性矩阵H需要4个对应点对。

我们RANSAC（RANdom ASmple Consensus，随机一致性采样）来估计单应性矩阵。这其实是DLT（Direct Linear Transformation，直接线性变换）的优化。DLT算法是将给定的4个或更多个对应点方程的系数堆叠到一个矩阵中，使用SVD（奇异值分解）算法求得H的最小二乘解。但是，值得注意的是并非所有的对应点对都是正确的，如下图所示：