＜视觉SLAM十四讲＞ ch7 视觉里程计1

湖田岛

已于 2022-10-21 21:41:54 修改

阅读量1.1k

点赞数

文章标签：计算机视觉人工智能 opencv

于 2022-10-08 19:29:06 首次发布

本文链接：https://blog.csdn.net/weixin_40440816/article/details/127019672

版权

本文详细讲解了视觉SLAM中特征点法的应用，包括ORB特征的提取和匹配。还深入探讨了对极几何，涉及基础矩阵、本质矩阵和单应矩阵，以及如何利用这些几何约束计算相机运动。介绍了三角测量和PnP问题的解决方法，为理解视觉里程计提供关键理论基础。

摘要由CSDN通过智能技术生成

文章目录

一、特征点法

特征点法特征：稳定，对光照、动态物体不敏感。

1.1 特征点

特征点：有代表性的点。视觉SLAM称这些点为路标（图像特征feature）。
特征点性质：不同的图像可以找到相同的特征（可重复性），不同特征有不同的表达（可区别性），特征点数量不多（高效率），特征仅与一小片图像区域相关（本地性）。
特征点主要包括 关键点（key-point, 该特征点在图像中的位置) + 描述子（descriptor，该特征点长什么样子)
比如：① SIFT（尺度不变特征变换）：计算量大但考虑充分；
② FAST：快且没描述子；
③ ORB：Oriented FAST and Rotated BRIEF，速度还可以且特征子具有旋转、尺度不变性。

1.2 ORB 特征

提取ORB特征分两步骤：Fast角点提取+BRIEF描述子。
FAST关键点：
主要思想：比较一个像素 $I_p$ 和邻域像素的亮度。在半径为3的16个像素点比较亮度，连续12个点的亮度大于 $I_p+T$ 或小于 $I_p-T$ 则认定为角点。FAST-12为了更快，直接检测1，5，9，13个像素的亮度，只有4个像素中有3个同时大于 $I_p+T$ 或小于 $I_p-T$ ，当前像素才可能是角点。此外为了预防FAST角点出现扎堆的情况，用非极大值抑制，可以在一定区域内保留相应极大值的角点。
缺点：不具有方向性和尺度。
ORB添加尺度不变性：构建图像金字塔；
ORB添加旋转的描述：添加质心。
BRIEF描述子

1.3 特征匹配

最简单的特征匹配方法是暴力匹配，计算每个特征点描述子的距离，排序，找个最近的作为匹配点。这个方法计算量太大，**快速近似最近邻（FLANN）**更适合匹配点极多的情况。

实践

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/feature2d/feature2d.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <chrone>

using namespace std;
using namespace sv;

int main(int argc, char **argv){
   
	if(argc != 3){
   
		cout<<""usage: feature_extraction img1 img2 "<< endl;
		return 1;
	}
	//参数为3，因为要输入 "./orb_cv 1.png 2.png " 这是三个参数，argc=3，argv储存这三个参数
	//读图像
	Mat img_1 = imread(argv[1], CV_LOAD_IMAGE_COLOR);
    Mat img_2 = imread(argv[2], CV_LOAD_IMAGE_COLOR);
    assert(img_1.data != nullptr && img_2.data != nullptr);//判断读进去的图片
	//cv::assert()计算括号内的表达式，若为FALSE (或0), 程序将报告错误并终止执行。若不为0，则继续执行后面的语句。
	//初始化
	  vector<KeyPoint> keypoints_1, keypoints_2;   //关键点/角点
   /**
   opencv中keypoint类的默认构造函数为：
   CV_WRAP KeyPoint() : pt(0,0), size(0), angle(-1), response(0), octave(0), class_id(-1) {}
   pt(x,y):关键点的点坐标； // size():该关键点邻域直径大小； // angle:角度，表示关键点的方向，值为[0,360)，负值表示不使用。
   response:响应强度，选择响应最强的关键点;   octacv:从哪一层金字塔得到的此关键点。
   class_id:当要对图片进行分类时࿰