【精品资源】基于Shi-Tomasi 角点检测和KLT算法的双目图像三维重建matlab仿真

fpga和matlab

于 2024-09-17 05:20:54 发布

阅读量203

点赞数 16

分类专栏： FPGA/MATLAB精品资源专栏文章标签： matlab Shi-Tomasi 角点检测 KLT算法三维重建

本文链接：https://blog.csdn.net/ccsss22/article/details/142310180

版权

FPGA/MATLAB精品资源专栏专栏收录该内容

5 篇文章 1 订阅

订阅专栏

基于Shi-Tomasi角点检测和KLT（Kanade-Lucas-Tomasi）特征追踪算法的双图像三维重建是一种广泛应用的技术，用于从不同视角的图像中恢复场景的三维结构。这种方法特别适用于立体视觉和运动估计等领域。

1. 角点的概念

角点是指那些在图像的不同方向上都具有显著变化的点。这些点通常存在于边界相交的地方，如建筑物的角落或物体的边缘。角点之所以重要是因为它们提供了丰富的信息，可以帮助计算机视觉算法更好地理解和解释图像内容。

2.Shi-Tomasi角点检测算法

Shi-Tomasi算法是基于Harris角点检测算法改进而来的一个版本，它的主要优点在于更加稳定并且在检测角点时具有更好的选择性。

首先，我们需要计算图像在各个方向上的梯度。梯度可以用来描述图像强度在某个点的局部变化率。梯度的计算可以通过卷积运算完成，常用的核函数有Sobel算子：

使用这两个核函数分别计算图像在x和y方向上的梯度：

接下来，我们计算每个像素点周围小区域内梯度的自相关矩阵A：

这里W表示一个权重窗口函数，通常采用高斯函数作为窗口函数，以便给予中心像素更大的权重。

Shi-Tomasi算法定义了一个角点响应函数R，用来衡量一个点是否为角点：

R的值越大意味着该点越有可能是一个角点。与Harris角点检测算法相比，Shi-Tomasi算法仅关注两个特征值中的最小值，这样可以避免检测到一些非角点（如边缘点）的情况。

为了从候选点中筛选出最可能的角点，需要执行非极大值抑制。这个过程涉及比较每个像素点的响应值R与其邻域内的其他点的响应值。只有当一个点的响应值在其邻域内最大时，才认为它是一个潜在的角点。

最后，为了进一步减少误检，会设置一个响应阈值τ，只有那些响应值R大于τ的点才会被标记为角点。

Shi-Tomasi角点检测算法因其稳定性强、检测效果好而在多种计算机视觉任务中得到了广泛应用。例如，在立体匹配中，角点可以作为可靠的特征点；在视频跟踪中，角点可以作为稳定的跟踪目标；在SLAM（Simultaneous Localization And Mapping）中，角点可以用来构建地图。

3.双目图像三维重建

Shi-Tomasi角点检测算法通过对图像进行梯度计算、自相关矩阵构建以及角点响应函数的定义，能够在图像中有效地检测出角点。这些角点不仅提供了丰富的信息，还为后续的三维重建任务奠定了基础。

一旦我们在两个图像中找到了对应的特征点，就可以开始三维重建过程了。这个过程通常包括估计基础矩阵（fundamental matrix）和使用三角法（triangulation）来计算3D点。

在两个图像中检测到角点之后，需要找到它们之间的对应关系。常用的方法包括KLT（Kanade-Lucas-Tomasi）特征追踪算法或其他特征匹配算法（如SIFT、SURF等）。KLT算法通过最小化能量函数来找到使图像强度变化最小化的位移向量(u,v)：

基础矩阵F连接了两幅图像中对应点的关系，它可以通过RANSAC（RANdom SAmple Consensus）算法来稳健地估计。

以下是基于Shi-Tomasi角点检测的双图像三维重建的具体步骤：

读取图像：读入两幅立体图像。
角点检测：使用Shi-Tomasi角点检测算法在两幅图像中找到角点。
特征匹配：使用KLT算法追踪这些角点在两幅图像中的对应位置。
基础矩阵估计：利用RANSAC算法估计两幅图像的基础矩阵。
三角法重建：使用三角法计算匹配点的3D坐标。
结果展示：可视化3D点云。

4.MATLAB程序

009--------------------------------------------------------------
% 计算对应于两幅图像的相机姿态的旋转和平移
% 注意 |t| 是一个单位向量，因为只能计算到比例的平移
[R,t]     = cameraPose(Fmat, cameraParams, inpt1, inpt2); % 计算旋转和平移
%重构匹配点的3-D位置
% 检测密集特征点
Ipt1      = detectMinEigenFeatures(rgb2gray(Images1), 'MinQuality', 0.0000001); % 检测第一幅图像的特征点
% 创建点追踪器
tracker   = vision.PointTracker('MaxBidirectionalError', 1, 'NumPyramidLevels', 8); % 创建追踪器
% 初始化点追踪器
Ipt1      = Ipt1.Location; % 获取特征点的位置
initialize(tracker, Ipt1, Images1); % 初始化追踪器
% 追踪点
[Ipt2,idx] = step(tracker, Images2); % 在第二幅图像中追踪点
mpt1      = Ipt1(idx, :); % 获取有效的匹配点
mpt2      = Ipt2(idx, :); % 获取有效的匹配点

% 计算每个相机位置的相机矩阵
% 第一个相机位于原点，沿X轴方向观察。因此，其旋转矩阵是单位矩阵，其平移向量是0。
mc1       = cameraMatrix(cameraParams, eye(3), [0 0 0]); % 计算第一个相机的矩阵
mc2       = cameraMatrix(cameraParams, R', -t*R'); % 计算第二个相机的矩阵
% 计算3-D点（直接线性变换）
points3D  = triangulate(mpt1, mpt2, mc1, mc2); % 重构3D点
% 获取每个重构点的颜色
numPixels = size(Images1, 1) * size(Images1, 2); % 计算像素总数
allColors = reshape(Images1, [numPixels, 3]); % 重塑颜色矩阵
idxc      = sub2ind([size(Images1, 1), size(Images1, 2)], round(mpt1(:,2)), round(mpt1(:, 1)));
color     = allColors(idxc, :); % 获取颜色
% 创建点云
ptCloud   = pointCloud(points3D, 'Color', color); % 创建带有颜色的点云