- 博客(671)
- 资源 (16)
- 收藏
- 关注
RSS订阅
原创 ORB-SLAM2中关键知识点理解（ 地图点、关键帧、图结构）
0.1. ORB SLAM2的总体框架是怎样的？下图是论文里的原图，ORB SLAM2一共有三个线程，分别是Tracking，Local Mapping和Loop Closing，其中Tracking是负责提取关键点进行帧间匹配，并且初选关键帧，Loop Mapping是进行关键帧筛选和地图点剔除，同事进行一个局部优化，Loop Closing主要是进行回环检测。2. ORB SLAM2是怎样完成初始化的？在ORB SLAM2进行跟踪前，需要先进行初始化，初始化包括相机初始帧位姿，新建地图，新建关
2022-05-01 01:23:41
5577
原创 SVO（SVO: fast semi-direct monocular visual odometry）
SVO（SVO: fast semi-direct monocular visual odometry）翻译文章目录SVO（SVO: fast semi-direct monocular visual odometry）翻译1、介绍2、系统概述3、符号4、运动估计4.1、 基于稀疏模型的图像对齐4.2、 通过特征对齐松弛4.3、 姿态和结构优化4.4、 讨论5、建图6、 实施细节7、实验结果8、结论1、介绍摘要——半直接法消除了运动估计中昂贵的特征提取和匹配技术的需要，直接在像素级上操作，做到了在高帧
2021-11-23 08:42:20
5848
原创 ORB-SLAM2代码框架梳理与详细解析（共11章）
ORB-SLAM2代码详解文章目录ORB-SLAM2代码详解1. ORB-SLAM2代码详解01_ORB-SLAM2代码运行流程1 运行官方Demo1.2. 阅读代码之前你应该知道的事情1.2.1 变量命名规则1.3 理解多线程1.3.1 为什么要使用多线程?1.3.2 多线程中的锁1.4 SLAM主类`System`1.4.1 System`类是ORB-SLAM2系统的主类,先分析其主要的成员函数和成员变量:1.4.2 构造函数1.4.3 跟踪函数2. ORB-SLAM2代码详解02_特征点提取器ORB
2021-09-23 22:34:50
8434
1
原创 【DROID-W】WildGS-SLAM
现象说明追踪阶段最耗时通常占总耗时约 50%度量深度估计占比中等约占 13–16%DINOv2 特征提取占比较小约占 3–4%全局 BA 与序列长度、关键帧数相关的全局 BA 达到 102.9s轨迹填充可能成为瓶颈轨迹填充达到 77.6sDROID-SLAM 跟踪+ 单目度量深度估计+ DINOv2 图像特征+ 全局 BA+ 3D Gaussian Splatting 建图的完整视觉 SLAM / 重建系统。方面总结输入RGB 图像为核心，可结合深度图和单目先验配置。
2026-04-16 16:39:14
74
原创 【Basalt】nfr_mapper 信息重参数化（information reparameterizati）VIO 的 dense 高斯先验，蒸馏成 sparse 几何因子，再结合视觉重建做 BA
本文提出了一种将VIO边缘化先验转化为可优化后端建图约束的创新方法NfrMapper。该方法的核心思想是将VIO边缘化后留下的线性高斯先验（包含状态协方差信息），通过数学转换提取为可继续优化的非线性因子，包括相对位姿因子和Roll/Pitch因子，并结合新的视觉观测进行局部BA优化。文章详细推导了从协方差矩阵到几何因子的转换过程，特别是SE(3)流形上的相对位姿因子构造方法，解释了如何将状态空间的不确定性转化为观测空间的约束权重。这种设计实现了实时系统与高质量建图的解耦，使系统同时具备实时性和精度优势。
2026-04-11 18:38:28
363
原创 【Basalt】nfr_mapper 中的“小 SfM/BA 后端”
本文介绍了一个基于VIO边缘化先验的后端稠化映射器NfrMapper。该系统主要功能包括：1)从VIO边缘化输出MargData中恢复关键帧位姿约束；2)重新进行特征提取、跨帧匹配和三角化建图；3)执行局部BA优化。NfrMapper通过将VIO的线性先验转化为非线性位姿因子（包括roll/pitch约束和相对位姿约束），结合重建的视觉特征和地图点，构建了一个可再次优化的因子图模型。该系统与前端VIO形成互补关系，VIO负责实时估计并输出边缘化信息，而NfrMapper则利用这些信息进行更精确的离线优化，实
2026-04-11 16:17:08
349
原创 【Basalt】measure 中关键帧管理与滑动窗口梳理
│ 滑动窗口全貌 │。│ 关键帧 普通帧 最新帧 │。│ │KFₙ │F │F │KFₘ │F_cur│ ← 完整状态（位姿+V+B） │。│ │KF₁ │KF₂ │KF₃ │…│ ← 仅位姿，已边缘化速度/bias │。二、measure 的完整流程。四、边缘化触发与选帧策略。三、关键帧的生命历程。
2026-04-10 17:10:04
238
原创 【Basalt】Basalt void SqrtKeypointVioEstimator＜Scalar_＞::optimize() VIO优化流程
@[TOC](【Basalt】Basalt void SqrtKeypointVioEstimator<Scalar_>::optimize() VIO优化流程)(x,l)→linearize→(H,b)→eliminate landmarks→(Hˉ,bˉ)→LM solve(x,l)\rightarrow \text{linearize}\rightarrow (H,b)\rightarrow \text{eliminate landmarks}\rightarrow (\bar H,\ba
2026-04-01 16:04:47
379
原创 【Agent】gstack skills 使用说明
gstack 中文速查表摘要 gstack技能分为4类：流程、浏览器/QA、安全控制、发布运维。核心功能包括： 方案规划：/office-hours验证想法，/plan-ceo-review提升产品价值 技术验证：/plan-eng-review技术评审，/review代码审查 测试工具：/browse模拟浏览器操作，/qa自动化测试修复 安全发布：/cso安全审计，/ship一键发版，/canary生产监控 风险控制：/careful危险操作提醒，/freeze锁定编辑范围 提供从构思到上线的全流程自动化
2026-04-01 14:16:44
549
原创 【Basaalt】Visual-Inertial Mapping with Non-Linear Factor Recovery论文解读
摘要 本文提出一种基于非线性因子恢复的视觉-惯性建图方法，解决VIO局部精度高但全局建图融合困难的问题。方法通过从VIO轨迹中提取浓缩的非线性因子，重构关键帧间运动约束，并与回环检测结合进行全局光束平差优化。核心创新在于利用VIO因子增强地图横滚/俯仰角可观测性，提升鲁棒性与精度。实验表明，该方法在公共数据集上优于主流算法，实现了重力对齐的全局一致地图。
2026-03-31 20:51:52
317
原创 【Basaalt】工程实现线程与队列依赖图梳理
本文分析了vio_run_mcap.cpp的多线程架构。程序采用生产者-中转-消费者流水线设计，基础运行时包含7个固定线程：主线程、图像/IMU输入线程、视觉转发线程、状态消费线程以及光流/VIO处理线程。通过队列实现线程间通信，形成两条主数据链：图像处理链和IMU处理链。程序还支持可选线程如GUI显示、队列监控和数据归档。此外，光流和VIO内部使用TBB实现并行计算。这种架构在保证数据顺序依赖的同时，通过多线程提高了整体吞吐量。
2026-03-31 14:46:17
375
原创 【Basalt】Basalt主流程梳理
本文描述了VIO（视觉惯性里程计）系统的主流程和实现架构。系统分为前端和后端：前端进行图像特征跟踪，后端融合IMU数据进行状态估计。主流程包括数据加载、初始化、特征跟踪、IMU预积分、关键帧管理、三角化建图、滑窗优化和边缘化处理。程序通过多线程实现数据流处理，包括图像/IMU数据输入、前端处理、后端优化和状态输出。核心算法实现在SqrtKeypointVioEstimator中，涉及状态预测、特征关联、关键帧判断、三角化建点以及联合优化等关键步骤，最终输出位姿、速度和零偏估计。
2026-03-31 11:05:40
388
原创 【Basalt】 VIO（sqrt_keypoint_vio）主流程measure函数梳理
本文分析了Basalt VIO系统中measure()接口的实现细节。该接口是VIO前后端的主要入口，负责处理每帧图像和IMU数据的完整流程。主要包含6个步骤：1) IMU状态预测和传播；2) 注册当前视觉观测；3) 关键帧决策和地标点三角化；4) 边缘化准备和优化；5) 状态发布和可视化；6) 计时和返回。接口会处理IMU预积分传播状态、特征点跟踪管理、关键帧判断（基于新特征点比例）、新点三角化，并最终调用后端优化。特别值得注意的是关键帧决策逻辑目前仅基于单目特征点比例，对双目系统可能存在优化空间。
2026-03-31 10:55:58
418
原创 【SLAM】鹿明、它石、IO、GenRobot：具身智能赛道里，谁在做产品，谁在卖铲子？
具身智能赛道中，鹿明、它石、IO和GenRobot分别占据不同生态位。鹿明致力于构建“采集设备-数据-模型-场景”闭环，它石则以全栈技术押注超级具身智能系统。IO和GenRobot则聚焦基础设施层，前者提供机器人研发工具链，后者打造数据采集与治理平台。当前竞争呈现两极分化：鹿明与它石争夺具身智能入口，IO与GenRobot则在底层数据领域角力。行业头部效应明显，银河通用、智元等公司已形成第一梯队优势。未来行业价值将分布在机器人本体、数据、模型和场景四大节点，基础设施提供商可能形成更稳固的护城河。（149字）
2026-03-10 19:49:00
520
原创 【claw】 OpenClaw 的架构设计探索
OpenClaw AI Agent 架构解析：Core、Memory、Heartbeat 三核心机制构成自主智能系统。Core 作为大脑引擎负责任务解析、模型推理和技能调度；Memory 系统管理短期对话记忆和长期知识存储；Heartbeat 作为生命周期调度器实现定时任务和系统保活。三者协同工作形成完整的自主 Agent 循环（接收输入→推理决策→执行动作→更新记忆），使系统具备持续自主运行能力。这种模块化设计支持各组件独立扩展，为构建复杂AI应用提供灵活框架。
2026-03-07 11:06:39
367
原创 【docker】实践入门
docker rundocker run [选项] 镜像名 [启动命令]这里最后的/bin/bash不用镜像默认启动命令而是直接启动 bash适合手动进入容器调试。如果不写，Docker 会执行 Dockerfile 里定义的CMD或ENTRYPOINT。
2026-02-27 14:31:23
604
原创 【数据格式】mcap 数据/rosbag 包/euroc 数据有什么差异和相同点
文章摘要：本文对比了MCAP、ROS 1 rosbag、ROS 2 rosbag2和EuRoC数据集四种机器人数据记录格式的核心差异。MCAP是通用日志容器格式，不依赖ROS，支持多通道消息存储和随机访问；ROS 1 rosbag是专用录包格式，绑定ROS 1；ROS 2 rosbag2采用插件式存储机制，支持MCAP或SQLite；EuRoC是数据集目录规范。表格对比了它们在本质、载体、ROS依赖、数据组织等方面的差异，并分析了底层文件结构特点。这些格式都能表达时间序列传感器数据，但适用场景不同：MCAP
2026-02-26 15:22:37
768
原创 【nanobot】工程配置后过于消耗token 有什么解决方案
直接运行（在 conda 环境里）可以，：一旦开了多工具、多轮对话、长上下文，token 会涨得很快。你这个仓库（HKUDS/nanobot）近期版本其实已经在做这件事：README 和 release notes 都提到了，并且已经支持。
2026-02-26 14:28:12
656
原创 【SLAM】为什么像orb slam，vins等视觉SLAM开源算法里，精度上双目常常低于单目？
摘要：开源视觉SLAM中双目精度常低于单目的深层原因并非理论缺陷，而是工程实现未充分发挥双目优势。关键因素包括：1) 双目深度测量对相机标定、同步、曝光一致性等条件极为敏感，错误深度会引入硬约束偏差；2) 低纹理/遮挡区域的错配深度比单目"无约束"更危害优化；3) 远距离场景下双目深度分辨率不足；4) 开源系统默认参数和评测标准往往偏向单目；5) 在VINS系统中，IMU已提供尺度约束，双目可能引入额外噪声源。本质上，SLAM精度取决于误差管理能力而非传感器数量，改进方向应聚焦标定质量验
2026-02-25 18:37:07
545
原创 【SLAM】GenRobot / IO-AI / Scale / Appen 能力对比表（机器人数据与闭环视角）
摘要： 本文对比了GenRobot、IO-AI、Scale AI和Appen在机器人数据与闭环视角下的能力差异。GenRobot和IO-AI更专注于具身智能垂直领域，提供从硬件采集到数据治理的全流程解决方案；Scale AI侧重物理AI数据平台，强调数据质量与工程服务；Appen则以通用AI数据采集与标注为主。各平台在时序同步、多模态支持、数据治理及合规性等方面各有侧重，需根据实际场景需求（如SLAM/轨迹重建）选择适配方案，部分技术细节需POC验证。
2026-02-25 18:02:13
692
原创 【SIFT】各特征点与传统SIFT的对比分析
本文对比分析了多种SIFT特征点实现与传统SIFT的差异。VLFeat SIFT在精度上略优（105%），适合COLMAP生态；OpenCV SIFT兼容性好，速度提升10%；AKAZE作为降级方案速度快2-3倍但精度较低（85%）；GPU加速版本（PopSift/CUDA SIFT）速度提升4-10倍且保持精度。总结建议：精度优先选VLFeat SIFT，速度优先选GPU加速版本，通用场景选OpenCV SIFT，AKAZE仅作备用方案。不同实现的核心差异体现在精度、速度、硬件依赖和适用场景上。
2026-02-24 17:20:30
526
原创 【Sensor】IMU传感器选型车轨级 VS 消费级
IMU16460-DM 是“专业仪器”，而 LSM6DSV16X 是“多功能瑞士军刀”。如果你的问题是“如何测量到最准的数据”，答案是。如果你的问题是“如何在低功耗、小空间内实现足够好的运动感知，并还想加入一些智能”，答案是LSM6DSV16X。OV7251不参与IMU选型，它解决的是“看到”世界的问题，而IMU解决的是“感知到”自身运动的问题。如果系统需要两者，就都要选。
2026-02-14 18:08:54
750
原创 【Sensor】Cam传感器选型车轨级 VS 消费级
摘要： OG02B10（2MP）和OV7251（VGA）是OmniVision的两款全局快门传感器，适用于不同场景。OG02B10优势：更高分辨率（1600×1300）、大靶面（1/2.9英寸）、高红外灵敏度（114K e⁻）、支持DVP/MIPI双接口，适合工业检测、AR/VR及高清机器视觉。OV7251优势：低成本（$5-$8）、高帧率（100fps@VGA）、低功耗，适用于扫地机器人、门锁等消费电子。选型建议：预算充足且需高画质选OG02B10；注重成本、功耗和开发速度选OV7251。
2026-02-14 17:52:40
589
原创 【Cursor】Cursor 配置记录
想让 Cursor 的界面看起来更像 VSCode，这个想法很自然。毕竟 Cursor 本身就是在 VSCode 的基础上开发的，只是默认的界面布局和视觉风格做了一些调整。只要简单几步，就能让它重回你熟悉的模样。你可以通过下面几个方面的调整，一步步把 Cursor 的界面“校正”回 VSCode 的风格。
2026-02-14 12:28:28
1830
原创 【VLM】从“评测哲学”和“技术本质”两个层面拆解 robochallenge 任务设计
这些能力标签在回答一个关键问题：具身模型到底在哪个环节出问题？分类测认知simple-pick 测抓取manipulation 测状态控制temporal 测记忆softbody 测物理理解它本质是一个“模型能力解剖系统”。
2026-02-13 16:36:35
1316
原创 【VLM】大模型训练范式深度解析:SFT 与强化学习的关系与边界
维度SFT (监督微调)RL (强化学习)核心目标教会模型“怎么说”，建立稳定的输出范式引导模型“说得更好”，激活高级策略数据依赖需要高质量的标注数据需要清晰的奖励信号和反馈机制能力边界擅长模仿和执行，激活基础能力擅长探索和优化，激活高级能力适用场景任务收敛、边界清晰、模式固定的场景需要策略优化、创造性输出的复杂场景总而言之，SFT是大模型对齐的“地基”，而强化学习则是“上层建筑”。在大多数情况下，先打好SFT的地基，再用RL进行拔高，是最高效、最稳妥的路径。
2026-02-12 16:49:38
691
原创 【efficient_QR】efficient_QR分解DSP设计：要点、难点及处理方式
本次设计围绕和开展DSP硬件实现，核心适配近似方阵（15×15~384×375），兼顾内存限制、计算性能与精度，以下为核心要点、设计难点及对应处理方式的简化总结。
2026-02-12 16:04:09
704
原创 【VLN】VLN Paradigm Alg：Reinforcement learning 强化学习及其细节（4）
强化学习（RL） 研究的是智能体如何通过与环境交互，以最大化累积奖励为目标来学习策略。监督学习则是通过标注数据，以最小化损失函数为目标来学习模型。
2026-02-11 21:58:04
692
原创 【pySLAM】pySLAM
pySLAM 凭借其 Python 的易用性和 C++ 的高性能，成为视觉 SLAM 领域一个极具价值的工具。它不仅降低了研究门槛，也为工程落地提供了灵活的框架。未来，随着更多深度学习模型和传感器的集成，pySLAM 将在空间 AI 领域发挥更大的作用。如果你需要，我可以帮你整理一份pySLAM 核心模块的详细技术文档，或者生成一个Windows 环境下的安装和运行指南，方便你直接上手。需要我帮你做吗？
2026-02-11 20:27:03
783
原创 【SLAM】Hydra-Foundations 层次化空间感知：机器人如何像人类一样理解3D环境
MIT SPARK实验室的最新研究《Foundations of Spatial Perception for Robotics》提出了突破性的层次化3D场景图表示方法，解决了传统SLAM系统在语义理解和可扩展性方面的局限。该研究通过理论证明层次化图具有小树宽特性，支持高效推理，并开发了基于持久同调的房间分割、神经树架构等创新算法。集成系统Hydra在真实机器人平台上实现了实时性能，显著提升了机器人对复杂环境的理解能力。这项工作为机器人空间感知建立了新范式，将几何SLAM与神经符号推理相结合，为未来大规模应
2026-02-11 19:25:52
1517
原创 【VLN】VLN Paradigm Alg：模仿学习及其细节（3）
3. 模仿学习3.1 Teacher-forcing 与 Student-forcing 的异同点与搭配使用3.1.1 核心定义（一句话区分）3.1.2 Teacher-forcing（教师强制 · 离线演示）3.1.3 使用方式（训练流程）3.1.4 本质3.1.5 优点3.1.6 致命缺陷：暴露偏差（Exposure Bias）3.2 Student-forcing（学生强制 · 交互式演示）3.2.1 使用方式（训练流程）3.2.2 本质3.2.3 优点3.2.4 缺陷3.3 能否搭配使用？
2026-02-09 17:31:00
700
原创 【xhs】记录 2025-2026 年的工程记录
该项目在GitHub上记录了2025-2026年的工程开发日志，包含详细的文件记录和开发过程截图。通过平台截图可见项目采用标准化的文档管理方式，包括工程进度跟踪、文件归档等。图片展示了清晰的目录结构和文档格式，体现了规范化的项目管理流程。该项目适合作为软件开发过程管理的参考案例。
2026-02-09 12:28:28
92
原创 【VLN】VLN从理论到实践的完整指南VLN-Tutorial
视觉语言导航（VLN）是让智能体根据自然语言指令在3D环境中自主导航的技术，核心挑战在于语言、视觉和空间三模态的对齐。主流方法从早期RNN序列建模发展到基于Transformer的端到端模型，最新趋势是融合多模态大模型（如LLM）。实践方面需搭建仿真环境、处理数据集并训练模型，评估指标包括成功率和路径长度。VLN在服务机器人、智慧家居等领域有广泛应用前景。研究建议从R2R数据集入手，逐步引入大模型提升性能。该技术正朝着更自然的语言交互和零样本迁移方向发展。
2026-02-08 22:30:49
827
原创 【VLN】VLN仿真与训练三要素 Dataset，Simulators，Benchmarks（2）
模块核心内容核心特点（Core Features）1. 将场景离散化为拓扑图（Discretize scenes into a topological graph）2. 智能体仅能通过图中的节点进行导航（Agent navigates only through graph nodes）仿真观测空间（Simulation Observation Space）1. 12张RGB-D图像（每张视场角30°）2. 当前空间位置3. 附近可导航点（按与当前朝向的角度排序，第一个点为当前位置）
2026-02-08 18:29:16
810
原创 【VLN】VLN技术栈模块对接清单
VLN技术栈对接摘要（150字） 本文提供视觉语言导航(VLN)主流技术栈的快速对接方案，覆盖三大仿真平台与核心基准任务。Habitat平台推荐R2R+MP3D组合，通过habitat-lab库实现指令解析与导航评估；AI-THOR需适配R2R指令至ProcTHOR场景，使用vln-bert工具转换坐标；Isaac Suite侧重机器人物理交互，需将VLN任务转化为ObjectNav形式。各平台均提供标准环境安装脚本和核心对接代码示例，包含观测获取、动作执行与指标计算（导航误差、成功率等）的关键接口。开发者
2026-02-08 17:58:17
695
原创 【VLN】VLN（Vision-and-Language Navigation视觉语言导航）算法本质，范式难点及解决方向（1）
VLN定义：这个和深度模型的训练大同小异训练数据集 MP3D 主要训练数据集任务描述：一段描述路径的文字，限定了途径点，以及结束的位置。起始条件： 机器人预先不知道环境的任何信息，从描述的起点出发。成功条件：机器人到目标点，做出结束动作，即为成功VLN的Agent – 以R2R为例：构型：虚拟的Agent观测空间：360°RGB 图像，深度图像动作空间：前进，左转，右转，停止Agent在空间里遵循预定义的拓扑图运动人类的视角来完成一次VLN任务VLN的任务特点。
2026-02-07 23:26:03
1151
原创 【Embodied】人形机器人后市场四大挑战与解决方案全解析
摘要：随着人形机器人即将量产，后市场服务面临四大核心挑战：1）多维度故障诊断难，需建立数字孪生体系实现精准定位；2）备件管理复杂，采用ABC分类+AI预测实现智能调度；3）技术人才稀缺，构建分层认证体系+在线学习平台；4）软硬件迭代不同步，通过硬件预留和接口标准化解决。企业应重点布局标杆客户、服务网络、认证体系等五大方向，后市场将成为行业新增长点，具备工业服务经验的团队将占据优势。
2026-02-07 22:01:23
647
原创 【LingBot-Depth】深度补全/单目深度估计算法/立体匹配算法
LingBot-Depth是灵波科技开发的高精度空间感知模型，通过掩码深度建模和RGB-D预训练数据，显著提升复杂场景的深度输出质量。该技术将缺失深度数据视为"自然掩码"，利用跨模态学习补全空间信息，在深度补全、单目深度估计和立体匹配任务中表现优异。相比传统方法，LingBot-Depth能在透明/反光材质场景实现更精准的深度感知，为机器人提供更可靠的空间认知能力。
2026-02-07 21:07:48
607
原创 【SLAM新范式】几何主导=》几何+学习+语义+高效表示的融合
SLAM领域正经历从几何主导到多模态融合的范式变革。本文精选六大前沿研究：1）SLAM-Former首次用Transformer统一SLAM前后端；2）MAGiC-SLAM采用3D高斯泼溅实现高质量重建；3）RUSSO实现声呐-视觉-IMU深度融合；4）SPAQ-DROID通过剪枝量化实现边缘设备部署；5）Hier-SLAM引入LLM构建语义地图；6）FoundationSLAM提出首个SLAM基础模型。这些工作展现了SLAM向智能化、语义化、轻量化的发展趋势，正从定位工具向具身智能核心组件演进。
2026-02-07 16:31:04
766
Pytorch学习记录分享13-OCR(Optical Character Recognition,光学字符识别)
2024-01-04
mnist 用于手写体训练与测试，这里包含完整的链接
2023-12-21
SuperPointPretrainedNetwork.zip
2023-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人