双目立体匹配中的核线约束[极线约束]

最新推荐文章于 2023-10-23 21:13:42 发布
最新推荐文章于 2023-10-23 21:13:42 发布
阅读量1.6w 收藏 112
点赞数 36
分类专栏： # 立体匹配 三维重建 文章标签： 立体匹配 双目 核线约束
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rs_lys/article/details/83268491
版权

  双目立体匹配在寻找同名点的过程中，若没有任何先验约束，则对左影像每个像素，需要在右影像全图空间中进行搜索，这种暴力搜索方法不仅效率非常低，而且很容易由于各种因素（如弱纹理、重复纹理等）搜索到错误的对应点，而利用核线几何约束则是减小搜索范围，提高匹配效率且降低错误匹配的一种有效方法。在摄影测量中，核线是核平面与两张影像的交线，核平面是物方点与两个相机中心共同所在的平面，而核线约束描述的是物方点在两张影像上的投影像点一定在同一个核平面上，进而可以推导出，左影像上每个像素点在右影像上的同名点一定在该像点所在核平面与右影像的交线（即核线）上。核线约束将原先二维的搜索空间缩小至一维的核线空间，大大的减小了搜索范围，是提高匹配效率的十分有效的约束。核线约束的描述如图1所示。

图1 核线约束示意图

  从图1还可以看到，在左影像中同一个核面相交的核线上所有像素都对应右影像上同一条核线，形成以核线为单位的对应关系，如果能够找出所有的对应核线对，那么匹配将变得更加方便，双目立体视觉中通过核线纠正来完成这一步骤，通过标定好的相机参数，将影像投影至与基线平行的平面上，让两个相机的主光轴相互平行，使得核平面与两张影像的交线位于同一个扫描行，这样同一核线对位于两张影像的同一行，即同名点对的行号一定相等，只存在列号的差异。图2为核线纠正的示意图。

图2 核线纠正示意图

  核线纠正之后的图像同名点只存在列号的差异，这种差异就称为视差（严谨来说是列方向视差，因为行方向视差通过纠正消除，所以对于核线像对，视差就指列方向视差），具体来说，视差等于同名点在左影像上的列号减去在右影像上的列号。在核线纠正后，相机坐标系的X轴与基线平行，Z轴与像平面垂直，如图3所示，

图3 深度与视差

  通过三角形POlOr和Ppp’相似可以得到

式1 深度与视差

  进而推导出

式2 深度与视差2

  式2中，f为相机焦距（或主距），d为视差。式2描述的是深度与视差之间的关系。在双目立体匹配中视差图和深度图都可以作为匹配的结果，视差图总保存每个像素的视差值，是立体匹配算法中最常用的输出方式。图4是航空影像与近景影像的双目立体核线像对及视差图示意图，图中航空影像视差图为立体匹配算法所得，近景影像视差图为真实视差图。

图4 航空影像与近景影像的视差图示意图

恒叨立码之立体匹配
SGM
理论恒叨系列

【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（1）匹配代价计算之互信息（MI））
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（2）匹配代价计算之Census变换
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（3）代价聚合（Cost Aggregation）
【恒叨立码】【理论恒叨】【立体匹配系列】经典SGM：（4）视差计算、视差优化

码上教学系列

【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（1）框架与类设计
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（2）代价计算
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（3）代价聚合
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（4）代价聚合2
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（5）视差优化
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（6）视差填充
【恒叨立码】【码上实战】【立体匹配系列】经典SGM：（7）弱纹理优化

恒叨立码之立体匹配 -- PatchMatch
PatchMatch
理论恒叨系列

【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （1）Slanted support windows倾斜支持窗模型
【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （2）基于PatchMatch的视差估计
【恒叨立码】【理论恒叨】【立体匹配系列】经典PatchMatch: （3）后处理（一致性检查与视差填充）

视觉SLAM笔记五之详解对极几何：对极约束、本质矩阵、单应矩阵
yohnyang的博客
10-24 2217
视觉SLAM笔记五之详解对极几何：对极约束、本质矩阵、单应矩阵
双目视觉极线约束匹配
03-25
本文提出一种基于极线约束的最小二乘图像匹配方法。该方法利用两幅图像间的极线约束得到多个预匹配点，确定预匹配区域，然后用用最小二乘法获得最佳匹配
双目立体匹配中的极线约束（Epipolar Constraint），基础矩阵（Fundamental Matrix），本质矩阵（Essential Matrix），对极几何（2D-2D）
是否龍磊磊真的一无所有的博客
04-22 2353
本文重点分析对极几何（Epipolar Geometry）、对极约束（Epipolar Constraint）、本质矩阵（Essential Matrix）和基础矩阵（Fundamental Matrix），以及他们之间的关系。
双目重建之极线约束与极线对齐
cy413026的博客
10-23 1309
如上图所示，通过标定好的相机参数，将图像投影至与基线平行的平面上，让两个相机的主光轴相互平行，使得极平面与两张图像的交线位于同一个扫描行，这样同一极线对应于两张图像的同一行，即同名点对的行号一定相等，只存在列号的差异。如上图所示，点P为世界坐标系上一点，p为左图像上一点，p'为有图像上一点，则Ppp'形成一个平面，称为极平面（也称为核平面），左右两条绿线与红线则称为极线，O与Or则为左右相机的相心。的方式，在不对图像进行RT变换的前提下，通过两条极线的约束条件，找到右图像中的对应点p’
双目视觉焦距_双目立体匹配中的核线约束[极线约束]
weixin_29790771的博客
12-30 1499
双目立体匹配在寻找同名点的过程中，若没有任何先验约束，则对左影像每个像素，需要在右影像全图空间中进行搜索，这种暴力搜索方法不仅效率非常低，而且很容易由于各种因素（如弱纹理、重复纹理等）搜索到错误的对应点，而利用核线几何约束则是减小搜索范围，提高匹配效率且降低错误匹配的一种有效方法。在摄影测量中，核线是核平面与两张影像的交线，核平面是物方点与两个相机中心共同所在的平面，而核线约束描述...
双目摄像头-对几何约束
Zosse的博客
06-02 1112
二、对几何约束 因为我最终要整的还是双目摄像头，那么想要寻找两摄像机拍摄的两幅图像之间的对应关系，最直接的方法就是逐点匹配，一个点一个点匹配，十分繁琐，如果加以一定的约束条件对极约束，搜索的范围可以大大减小。 前提：相机C1,C2在同一直线上：两相机共平面且光轴平行，参数相同（因为我最后要搞双目的） 基线[baseline]：直线C1C2为基线。 对极平面：任何包含基线的平面都称为对极平面。 对极线：对极平面与图像的交线。 对极点：摄像机的基线与每幅图像的交点 极线约束：两极线上点的对应关系。
opencv实现两幅图像的极线约束匹配
04-27
同时，理解并调试代码中的每一步将有助于深入理解极线约束匹配的工作原理及其在实际应用中的价值。 总之，OpenCV实现的极线约束匹配是解决图像匹配问题的一种有效方法，它结合了几何和统计学的原理，提高了匹配的...
立体匹配中核线纠正原理
05-10
在立体匹配中，核线纠正是一种常用的技术，用于解决匹配过程中由于图像中的噪声或者其它因素引起的匹配点偏差问题。 核线纠正原理是通过确定一条核线，在核线上寻找匹配点，并将其作为参考点进行匹配。通常情况下，...
三维重建立体校正和核线约束的区别
05-19
三维重建中的立体校正和核线约束是两种不同的校正方法。 立体校正是指将一组图像进行立体匹配，通过计算相机位置和姿态信息，将不同角度拍摄的图像融合到同一个坐标系中，从而得到一个立体模型。立体校正的目的是...
核线影像纠正C++代码（程序）
05-15
核线影像制作完整代码http://blog.csdn.net/visualman_whu/article/details/26485843
一种基于极线约束的激光条纹匹配算法
02-11
提出了一种基于极线约束的激光条纹匹配算法.先通过双CCD摄像机摄取左右两幅图像,然后对图像进行预处理.处理之后的两幅图像是在不同视角下摄取的两条单像素宽的激光条纹,在极线约束和连续性约束的理论基础上,提出了一种直线和曲线求交的匹配方法,从而实现了激光条纹的快速精确匹配和激光扫描线的三维重建.
核线影像生成
06-22
基于数字微分纠正的核线影像生成，可在VS2010中运行，未调用任何库
双目视觉之对极几何
视觉小浩
05-24 1999
对极几何(Epipolar Geometry) 本文为我翻译了一篇国外的ppt，并在此基础上进行了修改并写了自己的见解。 先思考一个问题：用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系（模拟人眼）。本节的任务就是如何描述它们之间的对应关系，描述工具是对极几何 ，它是研究立体视觉的...
极线几何与立体视觉
yangwangluoye的博客
02-14 4945
极限几何与立体视觉 1. 试画图说明极线几何关系，并指出极点、极线所在，解释极线约束。 答： 极线几何 我们使用一个相机进行拍摄目标物体的时候，会 发现几个物体都重合了，但是当我们再放台相机的时候，就可以把这些物体的特征获取到。 也就是双目视觉对应关系，同时也可用于相邻两帧间的运动估计。 极线几何的关系 极线约束：匹配点必须在极线上 基线：左右像机光心连线； 极平面：空间点，两像机光心决定的平面...
核线影像生成(摄影测量)以及极线校正(计算机视觉)
热门推荐
AAAA202012的博客
03-21 1万+
核线影像生成   《航摄影像密集匹配的研究进展与展望》一文中介绍：航摄影像的密集匹配可以对单个立体影像对、也可以对多度重叠的多视影像序列进行。在获得影像的内外方位元素或者影像的相对方位元素的前提下，实施过程大体分为核线影像生成、匹配代价计算、匹配代价聚合、视差计算与精华、三维点云生成几个主要步骤。其一般流程可描述为下图：   由上面的描述，我们可以知道，核线影像生成是航摄影像密集匹配的第一步,目的是利用核线相关的该概念将沿x、y方向搜索同名像点的二维相关问题转化为沿核线搜索同名像点。为了生成核线影像，需要
摄影测量学-学习笔记整理
m0_51867252的博客
11-20 1万+
摄影测量学学习笔记整理
传统双目立体匹配算法
最新发布
03-10
<think>好的，我现在需要帮助用户了解或实现传统的双目立体匹配算法。首先，我得回顾一下用户提供的引用内容，确保信息准确。用户引用了四个资料，其中提到了双目立体视觉的基本流程、传统算法与深度学习的结合、ELAS算法以及动态规划方法。用户的问题是关于传统算法的原理与实现，所以重点应该放在传统方法上，而不是深度学习。 首先，我需要明确双目立体匹配的基本原理。根据引用[1]和[2]，双目立体视觉通过左右视图的匹配像素点对，利用三角测量计算深度。核心在于立体匹配算法。传统算法通常分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。这些步骤在引用[3]和[4]中也有提及，比如ELAS算法虽然不同，但提到了代价计算和视差优化等概念。 接下来，用户需要知道传统算法的原理和实现步骤。我需要分步骤解释，并确保每个步骤都有对应的说明。例如，匹配代价计算常用方法有SAD、SSD、NCC等，这些在传统算法中是基础。然后，代价聚合可能使用局部方法（如窗口求和）或全局方法（如动态规划、图割）。视差计算通常通过WTA（赢者通吃）策略，而视差优化则包括左右一致性检查、亚像素细化等。 然后，用户可能需要一个具体的例子来理解如何实现。根据引用[4]，动态规划方法是在对极线上寻找最优路径，所以可以考虑以动态规划为例，给出一个简单的代码框架。不过，用户提供的引用中ELAS算法更高效，但属于较新的方法，可能不属于传统范畴。因此，选择动态规划或SGM（半全局匹配）作为例子可能更合适，但SGM可能复杂度较高，动态规划更基础。 同时，用户的问题可能涉及如何选择算法，以及实现的难点在哪里。比如，传统算法在纹理缺失区域、重复纹理等情况下表现不佳，这些需要处理。另外，代码示例可能需要使用Python，但实际中传统算法可能用C++更高效，不过用户可能需要Python示例。所以给出一个简化的SAD加动态规划的伪代码或示例可能有助于理解。 最后，根据用户的要求，生成相关问题。这些问题应该围绕传统算法的步骤、优缺点、改进方法、与其他算法的比较等展开。例如，如何解决遮挡问题，或者传统算法与深度学习的对比。 现在需要确保回答结构清晰，分步骤说明原理，并给出实现步骤和示例代码，同时引用提供的资料。比如，在代价聚合部分提到动态规划，可以引用[4]。在提到ELAS算法时，虽然它属于传统改进，但用户可能想了解传统方法，所以需要明确区分。 需要检查是否有遗漏的关键点，比如相机标定和极线校正的重要性，这在引用[2]中提到，是预处理步骤的一部分。因此在实现步骤前，必须进行图像校正，使对应点位于同一行，如引用[4]所述。 可能还需要提到常用的算法如BM（块匹配）、SGBM（半全局块匹配），这些在OpenCV中有实现，方便用户参考。但用户可能希望自己实现，所以需要解释基本原理。 总结，回答应包括： 1. 双目立体匹配的基本原理，包括四个步骤。 2. 各步骤的详细说明，结合引用内容。 3. 实现步骤，包括预处理、算法核心。 4. 代码示例，可能是一个简化的动态规划或SAD方法。 5. 算法优缺点和应用场景。 6. 相关问题。 需要注意使用正确的中文，数学公式用$$...$$，行内用$...$，确保LaTeX正确。例如，视差d与深度Z的关系公式需要正确呈现。 现在开始组织内容，确保每个部分引用正确的资料，并在末尾添加相关问题。</think>### 传统双目立体匹配算法原理与实现 #### 一、双目立体匹配基本原理 双目立体匹配的目标是从左右视图的对应像素点中计算视差（disparity）$d$，进而通过三角测量公式计算深度$Z$： $$ Z = \frac{f \cdot B}{d} $$ 其中$f$为焦距，$B$为基线距离（两摄像机间距）[^1]。 #### 二、传统算法核心步骤 1. **匹配代价计算** 计算左右图像中像素的相似性。常用方法： - **SAD（绝对差值和）**：$C_{\text{SAD}}(x,y,d) = \sum_{(i,j)\in W} |I_L(x+i,y+j) - I_R(x+i-d,y+j)|$ - **SSD（平方差和）**：$C_{\text{SSD}}(x,y,d) = \sum_{(i,j)\in W} (I_L(x+i,y+j) - I_R(x+i-d,y+j))^2$ - **NCC（归一化互相关）**：$C_{\text{NCC}}(x,y,d) = \frac{\sum (I_L - \mu_L)(I_R - \mu_R)}{\sqrt{\sum (I_L - \mu_L)^2 \sum (I_R - \mu_R)^2}}$[^2] 2. **代价聚合** 通过局部或全局方法优化代价矩阵： - **局部方法**：对窗口内代价求和（如均值滤波）。 - **全局方法**：动态规划（在极线约束下寻找最优路径）[^4]、图割（最小化能量函数）。 3. **视差计算** 使用**赢者通吃（WTA）**策略选择最小代价对应的视差： $$ d_{\text{best}} = \arg\min_d C(x,y,d) $$ 4. **视差优化** - **左右一致性检查**：剔除遮挡区域。 - **亚像素细化**：二次插值提升精度。 - **中值滤波**：平滑噪声。 #### 三、实现步骤与代码示例 1. **预处理** - 相机标定与极线校正，使匹配点位于同一水平行。 2. **动态规划实现（简化版）** ```python import numpy as np def compute_disparity(left_img, right_img, max_d=64): h, w = left_img.shape disparity = np.zeros((h, w)) for y in range(h): # 初始化代价矩阵和路径表 cost = np.zeros((w, max_d)) path = np.zeros((w, max_d), dtype=int) for x in range(w): for d in range(max_d): if x - d >= 0: cost[x, d] = abs(int(left_img[y, x]) - int(right_img[y, x - d])) else: cost[x, d] = float('inf') # 动态规划递推 for x in range(1, w): for d in range(max_d): min_prev = min(cost[x-1, max(0, d-1):min(max_d, d+2)]) cost[x, d] += min_prev path[x, d] = np.argmin(cost[x-1, max(0, d-1):min(max_d, d+2)]) # 回溯最优路径 best_d = np.argmin(cost[-1, :]) for x in reversed(range(w)): disparity[y, x] = best_d if x > 0: best_d = path[x, best_d] return disparity ``` #### 四、优缺点与应用 - **优点**：计算可控，硬件资源需求低。 - **缺点**：对纹理缺失、重复纹理敏感，依赖极线校正精度。 - **应用**：工业检测（零件尺寸测量）、机器人导航[^3]。
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值