- 博客(570)
- 资源 (16)
- 收藏
- 关注
RSS订阅
原创 ORB-SLAM2中关键知识点理解（ 地图点、关键帧、图结构）
0.1. ORB SLAM2的总体框架是怎样的？下图是论文里的原图，ORB SLAM2一共有三个线程，分别是Tracking，Local Mapping和Loop Closing，其中Tracking是负责提取关键点进行帧间匹配，并且初选关键帧，Loop Mapping是进行关键帧筛选和地图点剔除，同事进行一个局部优化，Loop Closing主要是进行回环检测。2. ORB SLAM2是怎样完成初始化的？在ORB SLAM2进行跟踪前，需要先进行初始化，初始化包括相机初始帧位姿，新建地图，新建关
2022-05-01 01:23:41
4766
原创 SVO（SVO: fast semi-direct monocular visual odometry）
SVO（SVO: fast semi-direct monocular visual odometry）翻译文章目录SVO（SVO: fast semi-direct monocular visual odometry）翻译1、介绍2、系统概述3、符号4、运动估计4.1、 基于稀疏模型的图像对齐4.2、 通过特征对齐松弛4.3、 姿态和结构优化4.4、 讨论5、建图6、 实施细节7、实验结果8、结论1、介绍摘要——半直接法消除了运动估计中昂贵的特征提取和匹配技术的需要，直接在像素级上操作，做到了在高帧
2021-11-23 08:42:20
4965
原创 ORB-SLAM2代码框架梳理与详细解析（共11章）
ORB-SLAM2代码详解文章目录ORB-SLAM2代码详解1. ORB-SLAM2代码详解01_ORB-SLAM2代码运行流程1 运行官方Demo1.2. 阅读代码之前你应该知道的事情1.2.1 变量命名规则1.3 理解多线程1.3.1 为什么要使用多线程?1.3.2 多线程中的锁1.4 SLAM主类`System`1.4.1 System`类是ORB-SLAM2系统的主类,先分析其主要的成员函数和成员变量:1.4.2 构造函数1.4.3 跟踪函数2. ORB-SLAM2代码详解02_特征点提取器ORB
2021-09-23 22:34:50
6910
原创 【Dynamic-SLAM】 动态视觉SLAM
但这里有个问题，本身RigidMask是需要图像、场景流、位姿做为输入的，所以DytanVO的主要思想是进行运动分割和位姿解算的联合优化，也就是说将RigidMask输出的优化后的光流分割结果馈送给PoseNet，PoseNet生成的位姿又反过来优化RigidMask的动态物体分割性能，论文里提到迭代3次以后可以收敛，注意光流网络只需要前向推理一次。总体结构如图2所示。具体来说，作者修改了现有的主干网络，以学习更强大的对象特征表示，并在主干网络中部署了两次查看和思考的机制，提升了实例分割的性能。
2024-10-16 05:16:26
1320
原创 【Motion Plan】路径规划算法小结
路径规划是自动驾驶和机器人导航中的一个关键环节，它可以根据对环境信息的掌握程度被划分为两种主要类型：全局路径规划和局部路径规划。这两种规划方式在信息获取、规划策略和应用场景上有所不同。全局路径规划：局部路径规划：在实际应用中，全局路径规划和局部路径规划往往需要结合使用。全局路径规划可以提供一个大致的路径方向，而局部路径规划则负责在接近目标的过程中，根据实时环境信息进行路径的细化和调整。这种组合使用的方法可以提高导航系统的鲁棒性和适应性。通过结合全局和局部算法，仓储机器人能够灵活应对各种环境需求，平衡路径规划
2024-10-16 00:06:03
862
原创 【2D/3D-Lidar-SLAM】 Cartographer详细解读
初始化best_score初始化为负无穷大，用来记录当前找到的最佳匹配分数。遍历平移和旋转参数使用三个嵌套的循环，分别遍历水平方向（j_x）、垂直方向（j_y）和旋转方向（j_θ）的参数空间，从而在各个可能的平移和旋转组合中搜索。计算匹配分数在每个平移和旋转组合下，计算一个匹配分数score，它是通过某个函数M_nearest对所有K个匹配点的距离求和得到的。更新最佳匹配如果当前计算的score比best_score更好，则更新best_score，并记录当前的匹配参数match。返回结果。
2024-10-15 03:38:42
356
原创 【2D/3D-Lidar-SLAM】 2D/3D激光SLAM以及GMapping 与 Cartographer
1. 激光SLAM分类**1. GMapping 系统架构**1.1 **粒子滤波器（Particle Filter）**1.2 **运动模型（Motion Model）**1.3 **传感器模型（Sensor Model）**1.4 **地图更新（Map Update）**1.5 **重采样（Resampling）**1.6 **闭环检测（Loop Closure）****2. GMapping 的特点**2.1 **基于粒子滤波器的 SLAM**2.2 **高效的 2D 建图**2.3 **实时性**
2024-10-15 03:26:25
739
原创 【3dgs】Gaussian-SLAM发展关键历程梳理
Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splattingcode:概述：3D 高斯泼溅（Splatting）是用于实时辐射场渲染的 3D 高斯分布描述的一种光栅化技术，它允许实时渲染从小图像样本中学习到的逼真场景。基本原理：从已有的点云模型出发，以每个点为中心，建立可学习的3D高斯表达(椭球来表示三维点，参数包括中心位置、不透明度、协方差矩阵和用球谐函数表达的颜色)，用Splatting的方法进行渲染，实现高分辨率的实时渲染。引
2024-10-12 14:24:55
884
原创 【3dgs】总结3DGS与NeRF如何重塑SLAM(24年4月最新进展)
1. 摘要2. 简洁3. 背景3.3.1 NeRF3.3.2 3dgs3.4 数据集4 数据集4.1 SLAM3.1 RGB-D SLAM方法3.1.1 基于NeRF风格的RGB-D SLAM3.1.2 基于3DGS风格的 RGB-D SLAM3.1.3 基于子图的SLAM(Submaps)paper：SLAM领域的研究经历了重大变革，突显了其在实现未知环境的自主探索方面的关键作用。
2024-10-11 06:19:47
1365
原创 【3dgs】3DGS与NeRF对比
3DGS适用于需要显式几何信息实时处理以及精确测量的应用，如自动驾驶、工业检测、机器人视觉等。NeRF强调高质量渲染，适用于渲染复杂场景和生成逼真图像的应用，如电影特效、虚拟现实、虚拟旅游等场景，渲染效果优于几何精度。这两种方法各有所长，适合不同的应用需求。如果你需要精确的几何信息和实时处理，选择3DGS；如果需要逼真的场景渲染和处理复杂光照，NeRF则是更好的选择。
2024-10-09 05:01:41
1085
原创 【FAST-LIO2】FAST-LIO2论文详解
本文介绍了FAST-LIO2：一种快速、鲁棒的、通用的激光雷达惯性里程计框架，FASTLIO2以高效紧耦合的方式迭代卡尔曼滤波器为基础，具有两个关键的新颖之处，可实现快速、稳健和精确的激光雷达的建图和导航。第一该方法是直接将原始点云配准到地图（随后更新地图），而不提取特征，这样可以利用环境中的细微特征，从而提高准确性，这里不采用人工设计的特征提取模块，使其自然适应不同扫描模式的新兴激光雷达；第二个主要创新点是通过。
2024-10-01 05:18:49
1490
原创 【Fast-LIO系列】Fast-LIO、Fast-LIO2、Faster-LIO系列特点分析
而ikd-Tree在point-wise和block-wise，通过对结点新加了deleted, treedeleted, pushdown，treesize, invalidnum属性，进而减小了插入，删除，检索，re-insert的时间复杂度，并达到增量更新的目的；并且能够通过设置的参数，检测到二叉树不平衡时，进行重建。，这样做的好处是原本公式中求逆中的矩阵是观测维度的，新公式求逆中的矩阵是状态维度的，需要求逆H的矩阵维度减小了(因为在实际情况中，激光特征点的数量维度要远大于状态量的维度)
2024-10-01 00:07:00
968
原创 【C++ 】 万能引用 (Universal References) 详解
【C++ 】 万能引用 (Universal References) 详解
2024-09-25 01:53:07
398
原创 【LIO-SAM】LIO-SAM论文翻译（2020年）
提出了一种通过平滑和映射实现紧密耦合的激光雷达惯性里程计框架 LIO-SAM，该框架可实现高精度、实时的移动机器人轨迹估计和地图构建。LIO-SAM 在因子图上制定激光雷达惯性里程计，允许将来自不同来源的大量相对和绝对测量（包括回环）作为因子纳入系统。惯性测量单元 (IMU) 预积分估计的运动消除了点云的倾斜，并为激光雷达里程计优化产生了初始猜测。获得的激光雷达里程计解决方案用于估计 IMU 的偏差。为了确保实时高性能，我们将旧的激光雷达扫描边缘化以进行姿势优化，而不是将激光雷达扫描与全局地图匹配。
2024-09-24 00:06:10
989
原创 【SVD/最小二乘/LM】SVD分解，最小二乘与EKF
计算ATAA^T AATA和AATA A^TAAT的特征值和特征向量。构造奇异值矩阵 ( \Sigma )。将矩阵 ( A ) 分解为UΣVTUΣVT。SVD算法的应用非常广泛，例如PCA（主成分分析）、图像压缩等场景中，都是基于SVD的思想。
2024-09-23 23:01:43
1155
原创 【2D/3D-Lidar-SLAM】 激光slam理论与实践
分枝定界算法（Branch and Bound）在激光雷达（LiDAR）匹配中是一种用于解决优化问题的方法，尤其是在回环检测和路径规划中。这种方法通过系统地探索所有可能的解决方案空间，并在探索过程中剪枝不具有最优性的分支，从而找到最优解。
2024-09-23 21:45:39
1020
原创 【LVIO-SLAM】Mars 实验室研究：FAST-LIO、FAST-LIO2、MLCC、HBA、Livox Camera Calibration
总体而言，FAST-LIO2在计算效率上（例如，在大型室外环境中实现高达100 Hz的里程计和制图）、鲁棒性（例如，在旋转速度高达1000度/秒的复杂室内环境中可靠的位姿估计）、多功能性（即，适用于多线旋转和固态激光雷达、无人机和手持平台，以及基于Intel和ARM的处理器）方面表现出色，同时仍然实现了比现有方法更高的精度。FAST-LIO2 进一步优化了数据处理流程，简化了特征提取的步骤，使其能够更加稳定地运行在不同种类的LiDAR设备上，尤其适用于低成本的激光雷达设备，在保证实时性的同时提高了精度。
2024-09-23 03:05:11
1456
原创 【GVINS】
概述了一种名为GVINS的系统，它旨在解决视觉-惯性里程计（VIO）在长时间运行时出现的漂移问题。GVINS通过将全球导航卫星系统（GNSS）的原始数据（包括伪距和多普勒频移）与视觉和惯性数据相结合，使用因子图方法进行紧耦合，从而减小VIO系统的漂移。这些信息表明GVINS系统能够提供一种更稳定和可靠的导航解决方案，特别是在卫星信号不稳定或缺失的情况下。这些内容指出了在GVINS与VIN融合时可能遇到的挑战和限制，特别是在精度匹配、卫星数量和信号覆盖方面。
2024-09-20 20:54:50
324
原创 【DL】 Deep Learning Papers Translation(CV)
AlexNetImageNet Classification with Deep Convolutional Neural Networks中文版中英文对照VGGVery Deep Convolutional Networks for Large-Scale Image Recognition中文版中英文对照ResNetDeep Residual Learning for Image Recognition中文版中英文对照GoogLeNetGoing Deeper With Convol
2024-09-18 06:53:03
742
原创 【FAST-LIO】FAST-LIO论文详解
提出 FAST-LIO，一种计算效率高且稳健的 LiDAR-惯性里程计框架，采用紧耦合迭代卡尔曼滤波器。使用前向和后向传播来预测状态并补偿 LiDAR 扫描中的运动。此外证明并实现了一个等效公式，该公式可以大大降低卡尔曼增益计算的复杂度。FASTLIO 在无人机飞行实验中进行了测试，在具有大旋转速度的室内环境和室外环境中具有挑战性。在所有测试中，我们的方法都产生了精确、实时和可靠的导航结果。
2024-09-17 00:20:39
1484
原创 【XR】AR HUD
产业链上的各大Tier1及PGU企业都在积极开发这一技术，许多厂家已推出LCOS样机，比如说水晶光电、华阳集团、瀚思通、疆程已在北京车展或去年的上海车展上展出了LCOS方案的AR-HUD样机。长距离显示模糊和快速转弯时显示模糊是AR HUD系统中常见的问题，这些问题的出现通常与HUD系统的光学设计、投影技术、用户视角变化以及环境因素有关。：随着技术的发展，用户对HUD系统的尺寸和重量有更高的要求，这要求研发更小型化的投影和成像系统。：确保HUD硬件在长期使用中的可靠性和耐用性，尤其是在恶劣的环境条件下。
2024-09-14 19:27:59
1853
原创 【LIV-SLAM】8种3D激光SLAM环境配置与运行(Fast_lio,Faster-lio,point_lio,dlo,lego_loam,a_loam,lio_sam,lvi_sam)
3.1 Fast_lio 编译与运行3.2 Faster-LIO编译与运行3.3 Point-LIO编译与运行3.4 DLO编译与运行3.5 lego_loam编译与运行3.6 A-LOAM编译与运行3.7 LVI-SAM编译与运行。
2024-09-13 05:47:05
1539
原创 【SLAM】稀疏矩阵的乘法优化小结
通过使用CSR格式存储稀疏矩阵，我们能够有效避免对零元素的计算，显著提升了稀疏矩阵乘法的计算效率。时间复杂度从常规的O(m * n * p)降低到接近于非零元素的数量，特别适合处理大规模稀疏矩阵的场景。
2024-09-11 17:56:57
1006
原创 【sensor】RTK、GPS和GNSS定位技术
请注意，GPS是GNSS的一个子集，GNSS是一个更广泛的术语，包括了GPS、俄罗斯的GLONASS、欧洲的Galileo、中国的北斗卫星导航系统等。RTK是一种增强技术，可以与GNSS结合使用，以提高定位精度。
2024-09-10 20:45:47
452
原创 【LIO-SAM】激光雷达点云 LIO-SAM 之激光里程计实现细节
当偏置更新后，需要重新计算后续IMU数据的预积分，以确保在后续帧中使用最新的偏置进行校正。通过重传播，可以更精确地估计后续帧的状态。在每一帧激光里程计数据到来后，结合IMU预积分量更新状态估计。IMU预积分计算不仅考虑位姿增量，还会根据IMU偏置更新其预积分结果。实现了激光里程计的状态估计，并结合IMU数据进行运动畸变校正。总体来说，代码中的因子图优化和IMU预积分都是高效的，适合实时系统使用。IMU预积分使用IMU的加速度和角速度数据来估计设备在帧间的。是IMU预积分的预测增量，是当前激光帧的位姿观测。
2024-09-10 04:35:54
548
原创 【sensor】激光雷达的特性与参数详解（七）Velodyne VLP-16 激光雷达的关键参数举例
在激光雷达技术中，使用两次回波的原因是为了提高测量的准确性和环境适应性。当激光雷达发射的光束遇到物体时，会发生反射，这个反射回来的信号就是第一次回波。如果光束能够穿透某些物体（如雨雾），它可能会遇到更远的物体并产生第二次回波。通过比较两次回波，激光雷达可以区分并忽略那些不是来自目标物体的反射，比如雨滴或灰尘，从而获得更准确的测量结果。在恶劣天气条件下，如雨雾天气，第一次回波可能是由雨滴反射的，而不是实际的目标物体。这时，第二次回波（如果足够强烈且能够被区分出来）可以提供更准确的距离信息。
2024-09-09 18:49:38
1011
原创 【LIO-SAM】激光雷达点云地图优化LIO-SAM 之mapOptimization实现细节
该函数是SLAM系统中的关键部分，负责保存关键帧、更新因子图，并使用GTSAM库进行状态估计和优化。
2024-09-09 06:05:14
1286
原创 【LIO-SAM】激光雷达点云处理LIO-SAM 之IMUPreintegration实现细节
通过设置初始姿态、速度和偏置的先验因子，并将它们添加到优化问题中，可以确保在接收到第一个里程计数据时，系统有一个合理的起点来进行状态估计。函数中用于初始化系统的部分。这个初始化流程是IMU预积分和状态估计过程中非常关键的一步，它确保了系统在接收到新的里程计数据时能够快速且准确地进行状态估计。这个流程是状态估计和传感器融合中常见的实践，特别是在处理IMU数据时，定期重置优化图是保持系统性能和准确性的重要步骤。函数中的核心部分，它负责处理IMU数据，执行状态估计和优化，并在优化后重新传播IMU里程计预积分。
2024-09-08 22:58:42
1276
原创 【LIO-SAM】激光雷达点云处理点云帧投影LIO-SAM 之ImageProjection实现细节
主要实现了激光雷达数据的去畸变、投影和提取的功能，并使用IMU和里程计数据来消除激光雷达点云在运动中的畸变误差。通过将三维点云投影到二维图像平面，便于后续的处理，并对投影后的点云进行提取和下采样，优化了点云的质量和计算效率。最终，这段代码为下游模块提供了处理后的点云数据，适用于激光雷达SLAM或地图构建的应用场景。缓存和处理点云数据：缓存传入的点云消息，并根据不同的激光雷达传感器类型转换点云格式，提取时间戳和其他必要的信息。IMU和里程计信息的去畸变。
2024-09-08 08:50:51
787
原创 【LIO-SAM】激光雷达点云处理特征提取LIO-SAM 之FeatureExtraction实现细节
这段代码实现了基于LiDAR（激光雷达）点云数据的特征提取，用于SLAM（Simultaneous Localization and Mapping）系统中的前端处理。特征提取的目的是从点云中识别出角点和平面点（面点），为后续的位姿估计和地图构建提供关键特征点。
2024-09-07 22:51:15
1109
原创 【sensor】激光雷达dToF（五）
苹果MR头显中的dToF激光雷达技术通过紧凑的光学设计、高灵敏度的传感器和先进的算法，提供了稳定、高效的3D感知能力。其主要优势体现在AR/VR的环境建模、手势识别和交互上。相比之下，灵明光子的ADS6401芯片在远距离测量、分辨率和功耗控制等方面进一步提升了性能，为未来的更多智能设备提供了可能性。苹果的dToF激光雷达技术集成了多个领域的前沿技术，设计复杂，但提供了革命性的3D视觉体验。安思疆科技在该领域有深入研究和产品开发，致力于推动相关技术的发展和应用。
2024-09-06 00:50:17
2104
原创 【sensor】GNSS的定义，信号原理以及RTK在多传感器融合中的使用方法（7）
1. GNSS的定义2. GNSS信号原理4。如何使用RTK做融合和优化GPS（全球定位系统）GPS特指由美国国防部开发的全球卫星导航系统。它包括一组卫星、地面控制站和用户设备（如接收器）。GPS提供全球范围内的地理位置和时间信息。GPS是最早的全球卫星导航系统之一，因此“GPS”这个术语在公众中非常流行，有时被用来泛指所有卫星导航系统。GNSS（全球导航卫星系统）GNSS是一个更广泛的术语，指的是全球范围内所有卫星导航系统的总称。
2024-09-05 17:23:38
1711
原创 【LVI-SAM】激光点云如何辅助视觉特征深度提取
这个流程目的是为了将激光雷达的3D信息与相机的2D图像特征点相结合。通过这种结合，可以为每个2D特征点估计一个深度值，从而帮助更准确地构建场景的3D结构。这对于视觉SLAM、3D重建等应用非常重要，因为它利用了激光雷达精确的深度测量来增强仅依赖视觉特征的深度估计。const vector& features_2d) // 去畸变后的归一化坐标 xy1// 0.1 initialize depth for return 深度通道, 用于作为结果返回。
2024-09-04 06:06:34
1840
原创 【XR】优化SLAM SDK的稳定性
优化SLAM SDK的稳定性是确保增强现实 (AR) 和虚拟现实 (VR) 应用在各种环境和设备上都能稳定运行的关键。
2024-08-28 15:22:26
671
原创 【XR】史上最全XRSDK大PK
ARKit是iOS设备的首选，提供了高精度、稳定性和丰富的功能集，但仅限于苹果设备。ARCore提供了更广泛的设备支持和跨平台兼容性，适合开发覆盖更多设备的应用，但在某些设备上的追踪性能可能略逊于ARKit。根据具体的应用需求、目标用户设备以及开发资源，选择合适的AR平台能够更好地实现项目目标。
2024-08-27 20:38:51
747
原创 【XR】SLAM中锚点的定义作用与使用场景
在SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）系统中，“锚点”是一个重要的概念，特别是在优化过程中用于提升定位和地图构建的精度。通过合理设置和利用锚点，SLAM系统可以显著提升其在复杂环境中的性能，提供更稳定和精确的定位与地图构建能力。
2024-08-27 20:20:34
1038
原创 【comfyui 】comfyui mac配置教程
返回到ComfyUI目录下，然后加载模型(上图)，最后返回了我们一个本地电脑的链接：http://127.0.0.1:8188/ ，我们只需要复制这个链接到浏览器打开，出现下图界面，即完成了ComfyUI的安装。我们打开网站:https://brew.sh/ 复制网站中的代码到Mac终端即可安装Brew，安装完成后，我们分开输入下列代码安装Python和git，然后再输入后面的三列代码查询版本，如果有版本显示，则我们的操作是正确的，否则未安装完成。如果再次运行安装返回下列错误，则说明我们已经成功安装了。
2024-08-19 22:25:14
1201
Pytorch学习记录分享13-OCR(Optical Character Recognition,光学字符识别)
2024-01-04
mnist 用于手写体训练与测试，这里包含完整的链接
2023-12-21
SuperPointPretrainedNetwork.zip
2023-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人