视觉SLAM十四讲 第7讲 视觉里程计1

最新推荐文章于 2022-10-08 19:29:06 发布
最新推荐文章于 2022-10-08 19:29:06 发布
阅读量862 收藏 1
点赞数 1
分类专栏： 视觉SLAM十四讲
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_39659902/article/details/106740012
版权

1、特征点的提取和匹配方法
2、对极几何原理
3、PNP问题
4、ICP问题
5、三角化问题

文章目录

1、特征点法

1.1 特征点

朴素角点可能出现问题：旋转时外观变化，拉近时的变化，
因此利用人工设计特征点

（1）人工设计特征点

  • 可重复性，相同区域可在不同图像中找到；
  • 可区别性，不同区域不同表达；
  • 高效率性，数量精；
  • 本地性，特征只和附近小片区域相关；

（2）特征点= 关键点+描述子

  • 关键点说明了位置，（可能还有朝向，大小）
  • 描述子对周围像素信息进行描述

（3）常见特征点

  • SIFT，尺度不变特征变换；考虑了光照，旋转等影响，计算量大；不实时；
  • FAST，没有描述子，速度快，精度低；
  • 在这里插入图片描述
1.2 ORB特征点

ORB = 改进的fast角点（oriented fast） + 速度快的brief描述子

（1）提取：

  • 提取fast角点：orb计算了其方向，为后续描述子增加了旋转不变性；
  • 描述子：对周围进行描述。

（2）fast角点：

  • 只需要比较像素亮度大小，快；检测出灰度变化明显的地方
  • 在这里插入图片描述

（3）改进的fast角点

  • 改进1：指定了最终的提取数量。因此对每一个角点进行计算Harris响应值，取n个；
  • 改进2：fast不具有方向信息。因此添加了对 尺 度 和 旋 转 \color{red}{尺度和旋转} 尺度和旋转的描述。
  • 在这里插入图片描述
  • 尺度不变性:通过构建图像金字塔，在每层进行检测实现；
  • 旋转不变性：通过灰度质心法实现；
  • 在这里插入图片描述

（4） 改进的brief描述子

  • brief是一种二进制描述子
  • 在这里插入图片描述

（5）特征点的匹配

  • 暴力匹配：描述子表示了两个特征点的相似程度，汉明距离代表了不同位数的个数；
  • 快速最近邻匹配：

2、特征提取与匹配实践

  • 误匹配的筛除
  • 使用了工程经验，汉明距离应小于最小汉明距离的两倍

3、2D-2D对极几何原理

3.1 引言

在这里插入图片描述
1、两个单目图像，对极几何原理
2、两个rgbd图像，icp
3、帧和地图匹配，pnp

3.2 问题定义

在这里插入图片描述

3.3 求解：对极几何约束给出了匹配点的空间位置关系

在这里插入图片描述

3.4 问题化简为两个步骤

（1）通过匹配点的像素位置可以由约束求出本质矩阵E或者基础矩阵F，因内参已知，一般使用E
在这里插入图片描述
（2）根据EF求出R,T

3.5 求解第一步骤：E

（1）E的性质。
在这里插入图片描述

  • 将E认为是普通矩阵，利用8点法在线性方程框架下求解。
  • 在这里插入图片描述
  • 则可以求出E 。
3.6 求解第二步骤：E求出R,T

在这里插入图片描述
在这里插入图片描述

3.7 步骤一中八点法的问题及单应矩阵（贺一家）

（1） 八 点 法 的 讨 论 P 152 \color{red}{八点法的讨论P152} 八点法的讨论P152

  • 用于单目SLAM初始化
  • 尺度不确定性：归一化t或特征点的平均深度
  • 纯旋转问题：t=0时无法求解
  • 多于八对点时：最小二乘
  • 有外点时：ransac

（2）单应矩阵引出

  • 单应矩阵描述两个平面之间的映射关系。
  • 即当场景特征点落在同一平面上，地面、墙等，可以通过单应性运动估计。
  • 在这里插入图片描述
  • 在这里插入图片描述
  • 在这里插入图片描述
  • 共 面 或 纯 旋 转 时 ， 自 由 度 下 降 ， 也 就 是 退 化 \color{red}{共面或纯旋转时，自由度下降，也就是退化} 共面或纯旋转时，自由度下降，也就是退化
  • 现实中的数据总包含一些噪声，使用八点法求解基础矩阵，基础矩阵多余出来的自由度将会主要由噪声决定。
  • 为了能够避免退化现象造成的影响，通常我们会同时估计基础矩阵 F 和单应矩阵H，选择重投影误差比较小的那个作为最终的运动估计矩阵。

4、三角测量（了解）

具有不确定性，要用到深度滤波器，13讲

5、3D-2D:PNP（初始化后的单目/双目/rgbd）

已知3D空间位置和相机上的投影点，求相机的旋转和平移

5.1 pnp问题

  • 代数解法（线性）
    DLT、P3P、EPnP、UPnP
    对噪声不鲁棒

  • 优化解法（非线性）
    构建最小二乘问题，BA优化
    运动连续时

5.2 DLT直接线性变换

在这里插入图片描述

  • 将矩阵R,T视作普通矩阵，没有考虑其内在来呢西，如R的约束等。
  • DLT将R,t看成独立的未知量，所以在求出结果后，需要将t组成的矩阵投影回SO(3)（通常用QR分解实现）
5.3 P3P方法
  • 利用几何关系，三角形相似性质，将问题转化为了3D-3D，简单。
  • 缺点：
    只用了3个匹配点，对于匹配点多的造成浪费；
    如果存在误匹配，影响较大
  • SLAM中，通常先使用P3P\EPnP估计相机位姿，在构造最小二乘问题做BA。
5.4 非线性优化求解PnP问题：BA

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5.5 实践g2o建模BA

在这里插入图片描述
在这里插入图片描述
定义误差计算方法等

6、3D-3D:ICP

已知 一 组 配 对 好 \color{red}{一组配对好} 一组配对好的3D点，求解ICP问题，ICP问题的解法两大类：
（1）线性代数解法SVD
（2）非线性解法BA

6.1 构建最小二乘问题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 因此，问题转化为三个步骤解决：
  • 在这里插入图片描述
    在这里插入图片描述
  • 注 意 匹 配 是 已 知 的 \color{red}{注意匹配是已知的} 注意匹配是已知的，
  • 在这里插入图片描述
  • svm和优化一样，可以得到准确结果，且收敛很快，没必要使用优化方式。
  • 匹配点未知的情况下则不一定极小值是最小值。
6.2 实践：求解icp
  • svd方法
  • 优化方法：没有提供3d-3d的边的定义，需要自定义

终：笔记

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

木木小窝
关注
专栏目录
视觉SLAM十四讲——第七讲视觉里程计1
weixin_37709708的博客
09-25 680
@ 《视觉SLAM十四讲》知识点与习题 《视觉SLAM十四讲》第七讲知识点整理+习题 正在学习SLAM相关知识，将一些关键点及时记录下来。 知识点整理 本讲主要关注基于特征点方式的视觉里程计算法，涵盖了特征点提取、匹配，2D-3D， 3D-3D，点云匹配以及利用三角化获得2D图片上对应点的三维结构 特征点法的前端：前端的目的是如何根据图像来估计相机运动。特征点法的前端运行稳定，对光照、动态物体不...
视觉slam十四讲 -- 第七讲
qq_40016998的博客
02-25 368
特征点的提取和匹配
《视觉SLAM十四讲》视觉里程计1_笔记
cjh_jinduoxia的博客
08-20 395
2D-2D 应用场景 根据两相机图片，进行匹配求解相机的旋转变换阵。大致两个过程：1）特征对匹配 2）利用匹配的特征点对求解相机的转换矩阵。下面是稍微具体的方法。 求解方法 对极约束 方程： xT2t∧Rxi=0  or  p2TK−Tp1=0 x_T^2t^{\land}Rx_i=0\ \ or \ \ p_2^TK^{-T}p_1=0 xT2​t∧Rx...
视觉SLAM十四讲 第七讲 视觉里程计1 3D-3D位姿求解 代码解析
Bettyshasha的专栏
03-24 825
总体思路 对两幅图像img_1，img_2提取特征点 特征点匹配 通过相机内参求取特征点对应的相机坐标X,Y，获取特征点的深度信息Z。 通过SVD分解，求除相机的位姿R，t。 计算质心p1 += pts1[i];p1 = Point3f(Vec3f(p1) / N); 去质心q1[i] = pts1[i] - p1;q2[i] = pts2[i] - p2; 构建W矩阵q1*q2^T 对W矩阵进行...
解读《视觉SLAM十四讲》，带你一步一步入门视觉SLAM—— 第 7 讲　视觉里程计1 ( 中 )
一点儿也不萌的萌萌
12-28 983
上一篇博客《解读《视觉SLAM十四讲》，带你一步一步入门视觉SLAM—— 第 7 讲视觉里程计1 ( 上 )》，我解读了特征点，讲述了关键点的提取和描述子的计算，以及特征点的匹配。经过匹配之后就会获得很多匹配点对。那么怎么从匹配的点对中获得相机的运动关系呢？ 解读 对极约束 作者首先通过三点共面关系，推导出了对极约束。实际上这个推导过程还有一种更加简洁的方法，首先将书中对极几何约束示意图简化成如下...
视觉SLAM十四讲配套代码
12-02
《视觉SLAM十四讲》是一本深入探讨Simultaneous Localization And Mapping（同时定位与建图）技术的专业书籍，主要关注视觉SLAM领域的理论与实践。配套代码提供了书中的算法实现，便于读者理解和验证书中所讲述的...
＜视觉SLAM十四讲＞ ch7 视觉里程计1
weixin_40440816的博客
10-08 1281
视觉SLAM十四讲 第七章
【视觉SLAM十四讲】第七讲 特征点法视觉里程计
liqingyushe的博客
09-15 1430
什么是特征点、如何提取和匹配特征点，如何根据配对的特征点估计相机运动。
SLAM 十四讲 课件 slam
04-23
这个课程“SLAM 十四讲”显然涵盖了SLAM的基本理论、方法及其应用。下面，我将根据提供的文件名称，逐一解析SLAM学习中的关键知识点。 **第一讲：SLAM概述与预备知识** 这讲主要介绍了SLAM的基本概念，包括为什么...
视觉SLAM十四讲学习笔记——第九讲 后端优化（1）
weixin_61294345的博客
11-25 2774
经过前端（视觉里程计）估计得到的轨迹和地图由于存在累计误差，在长时间内是不准确的。因此希望构建一个针对全局的更大规模的优化问题，得到最优的轨迹和地图，这里主要有两种解决思路： （1）基于马尔可夫性假设的卡尔曼滤波器：马氏性假设可以简单地理解为“当前时刻状态只与上一时刻有关”。针对SLAM问题（非线性）的卡尔曼滤波器给出了单次线性近似下的最大后验估计，或者说是优化过程中一次迭代的结果。 （2）非线性优化：非线性优化考虑了当前及之前所有时刻的状态，同时优化所有时刻的相机位姿以及各个特征点的空...
视觉slam14讲之视觉里程计
入山砍柴郎
04-11 1543
    作为视觉slam中4大步骤的最前端，视觉里程计（VO）是视觉前端，它根据相邻图像的信息估计出粗略的相机运动，给后端提供较好的初始值。而其主要实现方法，分为特征点法，直接法。其中特征点法目前是主流，它运动稳定，对光照，动态物体不敏感，是目前比较成熟的解决方案。 1. 特征点      图像本是一个由亮度和色彩组成的矩阵，从矩阵层面考...
视觉SLAM十四讲学习笔记1——视觉里程计
bitucas的博客
05-01 1228
一、基础概念 1.按照相机的工作方式，我们把相 机分为单目（Monocular）、双目（Stereo）和深度相机（RGB-D）三个大类。 2.照片，本质上是拍照时的场景（Scene），在相机的成像平面上留下的一个投影。它以二维的形式反映了三维的世界。显然，这个过程丢掉了场景的一个维度：也就是所谓的深 度（或距离）。在单目相机中，我们无法通过单个图片来计算场景中物体离我们的距离（远 近）——之后我们会看到，这个距离将是 SLAM 中非常关键的信息。由于我们人类见过大 量的图像，养成了一种天生的直觉，对大部
视觉SLAM14讲：视觉里程计2
坚果
05-17 403
视觉SLAM14讲：视觉里程计2 8.5.1 稀疏直接法 运行结果 代码及注释 #include <iostream> //输入输出 #include <fstream> //文件流 #include <list> #include <vector> #include <chrono> //计时 #include <ctime&g...
视觉SLAM14讲 第七讲 视觉里程计1
雨田2017的博客
08-17 551
特征提取：找出2张图片中相似的点 特征：关键点(例如角点，明暗变化大的点)+描述子(记录的关键点的特征信息，方向，旋转 等) FAST特征点：角点，检测局部像素灰度变化大的地方，FAST-N 半径为3的圆上有16个像素点，计算是否连续N个点亮度大于或小于阈值 ORB = ORrented Fast 特征点(像素几何中心到平均亮度中心的连线是方向)+ BRIEF 描述子(二进制，用汉明距离描述差异...
视觉SLAM14讲——视觉里程计1（特征点法）
weixin_55800047的博客
05-16 2602
前面说过视觉SLAM系统分为前端和后端两个内容，前端也叫做视觉里程计。视觉里程计的主要作用是根据相邻的两张图像的信息粗略的估计出相机运动，给后端一个较好的初始值。视觉里程计的两大算法为：特征点法和直接法。本讲主要是特征点法。 1、特征点法 视觉里程计最核心的问题是如何根据图像来估计相机运动。图像在计算机中是以矩阵的形式存储的，直接从矩阵的角度来估计图像是比较复杂的。一个简便的做法是：在图像中选取一些有代表性的点，这些点在相机视角发生少量变化后仍会保持不变，我们需要在各个图像中找到相同的点，在这些点的基础
【视觉SLAM十四讲】第7讲 视觉里程计1
博客标题不能为空我也没办法
12-06 2461
第7讲 视觉里程计1
视觉SLAM十四讲学习笔记——第七章 视觉里程计
Nova的博客
06-23 2897
视觉SLAM十四讲学习笔记——第七章 视觉里程计7.1 特征点法7.1.1 特征点7.1.2 ORB 特征7.1.3 7.1 特征点法 VO 的实现方法，按是否需要提取特征，分为特征点法的前端以及不提特征的直 接法前端，基于特征点法的前端，长久以来（直到现在）被认为是视觉里程计的主流方法。 7.1.1 特征点 从图像中选取比较有代表性的点，这些点在相机视角发生少量变化后会保持不变，所以会在各个图...
视觉SLAM十四讲-第七讲笔记
pikachu_777的专栏
11-01 3481
主要内容 本章开始进入视觉里程计(VO)部分，VO按是否需要提取特征，分为特征点法的前端和不提特征的前端。这一章讲的是基于特征点法的前端，分为以下内容。 特征点法：找到两张2D图像上的匹配点。 对极几何：根据2D-2D特征点对求解R,t。 三角测量：根据2D-2D特征点求深度。 PnP：根据3D点云和匹配的2D图像求R,t。 ICP：求两个点云之间的R,t。 关系是： 特征点法找到2D图像的...
视觉slam14讲——第7讲 视觉里程计1
leeayu的博客
11-05 8980
本文是记录学习高翔所著《视觉slam14讲》的习题部分，习题只做了一部分，如有错误，还请指出。文中代码、图片如无说明均引用自课本。第7讲 视觉里程计1 特征点法 1 人工设计的特征点有四个特征 2 特征点组成 3 常见的特征点 ORB特征点 1 改进的FAST 关键点Oriented FAST 2 BRIEF描述子 3 特征匹配 31 存在的问题 32 匹配方法 4 特征提取和匹配代码实践的步骤分析
视觉SLAM十四讲：G2O优化与点云特征提取技术
- 视觉SLAM十四讲：这部分可能指的是一个系统的教程或课程，它可能包含了14个关键章节或课程，详细讲解视觉SLAM的理论知识与实践技巧。 描述中提到的知识点包括： - g2o优化：这是对G2O图优化框架的具体应用，涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值