- 博客(21)
- 收藏
- 关注
原创 动态场景SLAM相关论文总结
参考文献:VDO-SLAM(动物判别与跟踪)、*DynaSLAM(深度学习+多视图几何分割)、*CoFusion(语义+运动分割)、Meaningful Maps With Object-Oriented Semantic Mapping(深度图上的非监督分割方法)、*Improving RGB-D SLAM in dynamic environments: A motion removal approach(基于几何的运动分割方法)、* DOT: Dynamic Object Tracking for V
2022-01-07 16:57:21
3881
原创 第三阶段文献总结
motion分割相关方法(一)Semantic segmentation–aided visual odometry for urban autonomous driving1、文章特点:VO中包含重投影误差和光度误差两部分,重投影误差就是通过ORB特征点匹配计算;光度误差类似直接法(此处叫图像对齐方法),但有着一些不同:此处为半稠密方法,选取的是分割出的静态语义标签区域,然后进行梯度滤波,选取梯度较大部分的像素; 基于图像对齐的基本假设(平面假设),此处选取的标签都是地面类别,如:路面标记、
2022-01-07 16:34:40
1899
1
原创 第一阶段文献总结
(一)Robust Ego and Object 6-DoF Motion Estimation and Tracking1、系统功能和亮点功能:本文提出了一种鲁棒性解决方案,以实现动态多体视觉里程计(相机自运动和视野内物体运动同时tracking)的精确估计和一致跟踪能力。This paper proposes a robust solution to achieve accurate estimation and consistent track-ability for dynamic mu
2021-11-03 11:54:06
728
原创 阶段性工作总结
(一)简介1、常用VSLAM开源框架对比,初步研究方向确定2、ORB-SLAM3的数据集测试,各种模式下的运行性能对比,及IMU模式下与Vins对比实验3、adas视频在ORB-SLAM3下的运行测试,及出错分析与修改4、AVP-SLAM算法及众包地图构建论文研究,验证基于ICP的点云配准5、对比AVP-SLAM与基于结构的由粗到精高精度地图定位方案,确定低成本的基于高精度地图的定位方案6、确定方案VIO:介绍对比ORB-SLAM3与vins-mono的惯导融合方案异同,重点vins
2021-08-18 17:53:00
1164
3
原创 ORB-SLAM2解读
以下皆以单目为主(一)输入图像+时间戳(用于传感器融合) 相机内参:zoom不可改变,否则影响焦距和成像:内参跟图像大小有关(图像缩放,内参也要相应功缩放) 特征检测描述子类型,及对应描述子DBOW词袋(这里是ORB特征)(二)数据结构1、Fmera:将获取的图像数据连同当前相机参数封装成帧,之后主要对帧进行操作:2、其他:3、关系图:(三)Tracking线程功能:确定每帧位姿;确定关键帧给Local Mapping分模块:初始化、跟踪、重定位、确定关键.
2021-07-08 17:42:42
1425
原创 ORB-SLAM3官方实验对比
(一)常用VSLAM方案性能对比(二)ORB-SLAM3各模式实验对比(三)与各模式下state-of-art的实验对比(四)ORB-SLAM3实验结果稳定性
2021-06-24 16:17:14
621
1
原创 ORB-SLAM3的Euroc数据集测试
(一)测试运行不同模式测试过程(以MH_03为例)1、pure mono运行SLAM:cd ORB-SLAM3/Example#run slam./Monocular/mono_euroc ../Vocabulary/ORBvoc.txt ./Monocular/EuRoC.yaml "$pathDatasetEuroc"/MH03 ./Monocular/EuRoC_TimeStamps/MH03.txt dataset-MH03_mono利用ORB-SLAM3自带..
2021-06-23 18:09:10
7652
19
原创 语义信息用于闭环检测
(一)SLAM闭环检测方法 传统特征点方法: 利用SIFT 等视觉特征进行对比闭环检测。受环境影响较大,往往会产生假阳性检测,且计算量大、效率低,在实际应用上存在较大的阻碍. 深层特征方法: 深度学习与 SLAM相结合,利用深层网络提取更加鲁棒的图像特征,提高闭环检测的可靠性和准确率.Gao 等 [8] 利用常规的图像特征选取图像块,再采用堆叠式去噪自编码器(SDA)进行深层特征提取,其闭环检测的效果优于传统的 FAB-MAP(fast appearance basedmapping
2021-06-07 11:33:22
798
2
原创 动态环境下基于语义和光流约束的视觉同步定位与地图构建
(一)相关研究 传统的动态环境感知算法 Fang 等和Wang 等采用光流法过滤场景中的移动物体; Bakkay用基于光流法的改进场景流来过滤移动物体; Zhao 等人使用深度图像和多视角几何方法检测动态物体。【注】以上传统算法对光照等环境变化敏感,鲁棒性较差。 基于神经网络的动态感知 优秀语义分割算法:SegNet [9] 、DeepLab [10] 、Mask-RCNN [11]; Zhong 等 [12] 使用 SSD 检测图片中的物体,对于先验标记为动态的物体种类,过滤其
2021-06-05 11:42:36
1225
1
原创 基于改进PFPN网络的语义地图构建
(一)相关研究 2D语义分割(semantic segmentation) 使用马尔可夫随机场(MRF)和条件随机场(CRF)等概率模型进行语义分割; CNN方法——FCN:引入了一种称为转置卷积层的上采样层,可以在保留了原始输入图像空间信息的同时进行逐像素分类; 以FCN为基础的衍生网络结构:ENET、 SegNet、 DilatedNet 和 RefineNet 等。 PFPN网络结构:可以使用同时生成基于区域的输出和密集像素输出的单个网络来提高实例分割和语义分割的准确性。 3D..
2021-06-03 11:37:51
887
原创 基于深度卷积神经网络的语义地图构建
(一)相关研究及特点 语义分割 语义信息:物体类别、目标检测、语义分割等。语义分割即对图像中每个像素分配类别标签。目前最主流的是深度学习方法,代表性的方法是全卷积神经网络(fully convolutional neural network,FCN),可以将神经网络的最后几层全连接层替换成卷积层,实现端到端的学习,且在任何尺寸的图片上都可以进行预测。后续 的图像语义分割方法主要是从 3 个方面进行改进: 1) 采用更深的网络结构.例如,将 16 层的 VGG16 网络结构换成 101 层的 R
2021-06-02 12:16:21
3132
5
原创 LSD-SLAM论文总结
(一)其他slam方案的优缺点基于特征点:只用到了环境中许多信息的一点基于直接法: pose graph optimization(位姿图优化方法)(二)创新点及实现 创新点: 不只是跟踪局部相机位姿,而是建立全局大尺度优化 使用直接法与特征点法结合,并运用基于滤波的深度估计实现半稠密建图 用基于3D相似变换的位姿图优化,优化关键帧,进而优化地图 利用相似变换代替空间刚性变换,并加入变尺度方法,检测并克服尺度漂移 实现: (三)新知识点...
2021-05-22 11:09:42
1574
4
原创 ROS入门
(一)ROS简介1.ROS是什么ROS 是一个适用于机器人的开源的元操作系统。它提供了操作系统应有的服务,包括硬件抽象,底层设备控制,常用函数的实现,进程间消息传递,以及包管理。它也提供用于获取、编译、编写、和跨计算机运行代码所需的工具和库函数。即ROS是一种机器人框架,它使得我们操作机器人像操作电脑系统一样。ROS 运行时的“蓝图”是一种基于ROS通信基础结构的松耦合点对点进程网络。ROS并不是一个实时的框架,但ROS可以嵌入实时程序。ROS实现了几种不同的通信方式:包括基于同步RPC样式
2021-05-17 22:56:25
378
6
原创 SLAM常用开源方案
一、历史经典(一)MonoSLAM(https://github.com/hanmekim/SceneLib2)(二)PTAM(http://www.robots.ox.ac.uk/~gk/PTAM/)Klein等人于2007年提出PTAM(Parallel Tracking And Mapping),PTAM的重要意义: 首次实现了跟踪与建图的并行化,即前后端的并行处理。前端图像跟踪与后端优化独立进行,在必要时刻才进行线程同步即可。 首次使用非线性优化,之前都是使用传统滤波器作
2021-04-26 20:50:06
1076
7
原创 SLAM回环检测
(一)两帧相似度计算词袋模型BoW(Bag-of-Words)一、BoW实现原理:用“图像上有哪几种特征”来描述一个图像。例如,如果某个照片,我们说里面有一个人、一辆车;而另一张则有两个人、一只狗。根据这样的描述,可以度量这两个图像的相似性。具体实现步骤:确定“人、车、狗”等概念——对应于 BoW 中的“单词”(Word),许多单词放在一起,组成了“字典”(Dictionary)。 确定一张图像中,出现了哪些在字典中定义的概念——我们用单词出现的情况(或直方图)描述整张图像。这就把一个图像转换
2021-04-10 11:55:58
471
原创 Ceres用法及Ceres-Sophus在位姿图优化问题的应用
(一)Ceres-Solver的一般用法简述:Ceres Solveris an open source C++ library for modeling and solving large, complicated optimization problems.使用 Ceres Solver 求解非线性优化问题,主要包括以下几部分:构建代价函数(cost function)或残差(residual) 构建优化问题(ceres::Problem):通过AddResidualBlock..
2021-03-14 18:01:43
2678
2
原创 SLAM后端之BA 与图优化
目录(一)投影模型和 BA 代价函数BA即Bundle Adjustment,又名:光束调整、捆集优化。是指从视觉重建中提炼出最优的 3D 模型和相机参数(内参数和外参数)。从每一个特征点反射出来的几束光线(bundles of light rays),在我们把相机姿态和特征点空间位置做出最优的调整 (adjustment) 之后,最后收束到相机光心的这个过程 ,简称为 BA。BA类似与求解只有观测方程的 SLAM 问题,由于BA的稀疏特性,使得它能够在实时场景中应用且有很高精度,本篇文章具体记
2021-02-05 23:58:23
2575
原创 SLAM后端概述
后端概述状态估计的概率解释后端的概念后端要解决的问题问题的简单描述问题的数学表述状态估计的概率解释后端的概念 前端视觉里程计只能通过邻近的几张图片估计短暂时间内的运动轨迹和路标,这种方式为“渐进的”(Incremental)。 后端考虑一个更长时间内(或所有时间内)的状态估计问题,而且不仅使用过去的信息更新自己的状态,也会用未来的信息(即全局信息)来更新自己,这种处理方式为“批量的”(Batch)。后端要解决的问题问题的简单描述 由于方程中的观测量都受受噪声影响,所以要把这里的位姿
2021-02-03 21:55:35
2019
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人