Navigation
文章平均质量分 90
研究嵌入式AI的视觉导航任务
玛卡巴卡_qin
这个作者很懒,什么都没留下…
展开
-
The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation 代码复现
第一次把navigation的代码run起来,纪念一下。修改environment.yml。2.安装habitat-sim。4.安装habitat-lab。直接参考原本github库的。3.拉取github库。5.配置数据集和模型。6.运行eval脚本。原创 2023-10-10 16:22:18 · 59 阅读 · 0 评论 -
OVRL-V2: A simple state-of-art baseline for IMAGENAV and OBJECTNAV 论文阅读
我们提出了一个由与任务无关的组件(ViT、卷积和 LSTM)组成的单一神经网络架构,该架构在 IMAGENAV(“转到 中的位置”)和 OBJECTNAV(“查找椅子”)任务没有任何特定于任务的模块,如对象检测、分割、映射或规划模块。这种通用方法具有设计简单、利用可用计算进行正扩展以及对多种任务具有通用性等优点。我们的工作建立在最近成功的预训练视觉变换器(ViT)自我监督学习(SSL)的基础上。原创 2023-08-24 17:35:05 · 650 阅读 · 0 评论 -
The Surprising Effectiveness of Visual Odometry Techniques for Embodied PointGoal Navigation 论文阅读
个人机器人可靠地导航到指定目标至关重要。为了研究这项任务,在模拟的 Embodied AI 环境中引入了 PointGoal 导航。最近的进展在逼真的模拟环境中以近乎完美的精度(99.6% 的成功率)解决了 PointGoal 导航任务,假设无噪声的自我中心视觉、无噪声的驱动以及最重要的是完美的定位。然而,在视觉传感器和驱动的真实噪声模型下,并且无法访问“GPS 和指南针传感器”,PointGoal 导航的 99.6% 成功代理仅成功了 0.3%。原创 2023-08-23 11:05:49 · 87 阅读 · 0 评论 -
OrienterNet: visual localization in 2D public maps with neural matching 论文阅读
人类可以使用简单的 2D 地图在 3D 环境中定位自己。不同的是,视觉定位算法主要依赖于复杂的 3D 点云,随着时间的推移,这些点云的构建、存储和维护成本高昂。我们通过引入 OrienterNet 来弥补这一差距,这是第一个深度神经网络,可以使用与人类使用的相同的 2D 语义图以亚米级精度定位图像。OrienterNet 通过将神经鸟瞰图与 OpenStreetMap 中开放且全局可用的地图进行匹配来估计查询图像的位置和方向,使任何人都可以在任何此类地图可用的地方进行本地化。原创 2023-08-22 10:25:56 · 820 阅读 · 0 评论 -
HuNavSim: a ROS 2 human navigation simulator for benchmarking human-aware robot navigation 论文阅读
这项工作提出了人类导航模拟器(HuNavSim),这是一种新颖的开源工具,用于模拟移动机器人场景中不同的人类代理导航行为。该工具首次在 ROS 2 框架下编程,可以与 Gazebo 等不同的知名机器人模拟器一起使用。主要目标是简化仿真中人类感知机器人导航系统的开发和评估。除了通用的人类导航模型之外,HuNavSim 还具有新颖性,包括一组丰富的个人和现实的人类导航行为以及一整套用于社交导航基准测试的指标。原创 2023-08-17 15:28:46 · 147 阅读 · 0 评论 -
Local Map-Based DQN Navigation and a Transferability Metric Using Scene Similarity 论文阅读
在没有全球地图的未知环境中进行自主导航是移动机器人面临的长期挑战。虽然深度强化学习(DRL)因其泛化能力而引起了人们对解决此类自主导航问题的兴趣迅速增长,但由于训练场景与实际测试场景之间的差距,DRL 在实践中通常会导致平庸的导航性能。大多数现有工作都集中在调整算法以增强其可迁移性,而很少研究如何量化或测量其之间的差距。本文提出了一种基于局部地图的深度 Q 网络 (DQN) 导航算法,该算法使用从 2D LiDAR 数据转换而来的局部地图作为观测值,而无需全局地图。原创 2023-08-13 17:49:18 · 116 阅读 · 0 评论 -
Multi-object navigation in real environments using hybrid policies 论文阅读
机器人技术中的导航问题通常是通过SLAM 和规划的结合来解决的。最近,除了航路点规划之外,涉及(视觉)高级推理重要组成部分的问题也在模拟环境中得到了探索,这些问题大多通过大规模机器学习来解决,特别是强化学习、离线强化学习或模仿学习。这些方法要求智能体学习各种技能,例如局部规划、绘制对象和查询所学习的空间表示。与航点规划(PointGoal)等更简单的任务相比,对于这些更复杂的任务,当前最先进的模型已经在模拟中进行了彻底的评估,但据我们所知,尚未在真实环境中进行评估。在这项工作中,我们重点关注。原创 2023-08-13 11:28:31 · 1253 阅读 · 0 评论 -
Exploiting Proximity-Aware Tasks for Embodied Social Navigation 论文阅读
学习如何在封闭且空间受限的室内环境中在人类之间导航,是体现主体融入我们社会所需的关键能力。在本文中,我们提出了一种端到端架构,该架构利用邻近感知任务(称为风险和邻近指南针)将推断常识性社会行为的能力注入到强化学习导航策略中。为此,我们的任务利用了当前和未来碰撞危险(immediate and future dangers of collision)的概念。此外,我们提出了一种专门为模拟环境中的社交导航任务设计的评估协议。原创 2023-08-12 17:55:33 · 756 阅读 · 0 评论 -
One-4-All: Neural Potential Fields for Embodied Navigation 论文阅读
现实世界的导航可能需要使用高维 RGB 图像进行长视野规划,这对基于端到端学习的方法提出了巨大的挑战。目前的半参数方法通过将学习的模块与环境的拓扑记忆相结合来实现长范围导航,通常表示为先前收集的图像上的图形。然而,在实践中使用这些图需要调整一些修剪启发法。这些启发式对于避免虚假边缘、限制运行时内存使用以及在大型环境中保持相当快速的图形查询是必要的。我们提出了 One-4-All (O4A),这是一种利用自监督和流形学习来获得无图、端到端导航管道的方法,其中目标被指定为图像。原创 2023-08-07 17:37:23 · 1135 阅读 · 0 评论 -
Crowd-Robot Interaction 论文阅读
对于在拥挤空间中运行的机器人来说,以有效且符合社会规范的方式进行移动是一项重要但具有挑战性的任务。最近的工作显示了深度强化学习技术在学习社会合作政策方面的力量。然而,随着人群的增长,他们的合作能力会下降,因为他们通常将问题放松为单向人机交互问题。在这项工作中,我们希望超越一阶人机交互,并更明确地模拟人群与机器人交互(CRI)。我们建议(i)重新思考与自注意力机制的成对交互(ii)在深度强化学习框架中联合建模人与机器人以及人与人的交互。原创 2023-08-06 17:42:56 · 1093 阅读 · 0 评论 -
Last-Mile Embodied Visual Navigation 论文阅读
现实的长期任务(例如图像目标导航)涉及探索和利用阶段。分配有目标图像后,具体代理必须探索以发现目标,即使用学习到的先验进行有效搜索。一旦发现目标,代理必须准确校准到目标的最后一英里导航。与任何强大的系统一样,探索性目标发现和利用性最后一英里导航之间的切换可以更好地从错误中恢复。遵循这些直观的导轨,我们提出 SLING 来提高现有图像目标导航系统的性能。完全补充现有方法,我们专注于最后一英里导航,并通过神经描述符利用问题的底层几何结构。原创 2023-08-05 18:04:50 · 1879 阅读 · 0 评论 -
LEARNING TO EXPLORE USING ACTIVE NEURAL SLAM 论文阅读
这项工作提出了一种模块化和分层的方法来学习探索 3D 环境的策略,称为“Active Neural SLAM”。我们的方法结合了经典方法和基于学习的方法的优势,通过使用带有学习 SLAM 模块的分析路径规划器以及全局和本地策略。学习的使用提供了输入模式(在 SLAM 模块中)方面的灵活性,利用了世界的结构规律(在全局策略中),并为状态估计中的错误(在本地策略中)提供了鲁棒性。原创 2023-08-01 18:27:58 · 1427 阅读 · 0 评论 -
NICE-SLAM代码复现和解析(解决使用yaml文件配置conda环境时下载慢的问题)
按照github的说法,咱国内选手最好选哪个下载脚本里面额外的那个数据集手动下载,如下(非常良心,这个云盘居然不下载不限速)在这个环境里面后,貌似还要写一个requirements.txt文件来把需要pip安装的加了(最好带清华源进行安装)方法同上,下载后放到在给工程下创建的./Datasets,解压。下载压缩包,打开environment.yaml文件。上一个命令会创建一个nice-slam环境,激活环境。我的GTX3070寄了,游戏结束~3. 运行完成后,效果还是不错。向yaml文件中添加如下代码。原创 2023-07-30 21:39:30 · 1544 阅读 · 10 评论 -
NICE-SLAM: Neural Implicit Scalable Encoding for SLAM论文阅读
神经隐式(Neural implicit representations)表示最近在同步定位和地图绘制(SLAM)方面有一定的进展,但现有方法会产生过度平滑的场景重建,并且难以扩展到大型场景。这些限制主要是由于其简单的全连接网络架构,未在观测中纳入本地信息。我们提出了 NICE-SLAM,这是一种密集 SLAM 系统,通过引入分层场景表示来合并多级局部信息。使用预先训练的几何先验优化这种表示,可以实现大型室内场景的详细重建。与最近的神经隐式 SLAM 系统相比,我们的方法更具可扩展性、高效性和鲁棒性。原创 2023-07-29 16:39:51 · 1483 阅读 · 0 评论 -
Is Mapping Necessary for Realistic PointGoal Navigation 论文阅读和代码分析
目标:证明显式地图不是成功导航的必要条件。对比实验数据集(模拟器):无地图导航模型的标准数据集Gibson。模拟器和现实世界的区别:本体感知(位置和方向)、观测噪声、动力学噪声。理想环境:位置和方向信息 + 没有RGB-D传感器噪声和驱动噪声:100%现实环境:没有位置和方向信息 + RGB-D传感器噪声和驱动噪声:71.7%实验环境:位置和方向信息 + RGB-D传感器噪声和驱动噪声:97%([39])、99.8%(本论文)证实了唯一的性能限制因素是智能体的自我定位能力。原创 2023-07-26 17:09:42 · 1603 阅读 · 0 评论 -
DROID-SLAM文章阅读
我们介绍 DROID-SLAM,一种新的基于深度学习的 SLAM 系统。DROIDSLAM 由通过密集束调整层()对相机姿态和像素深度进行循环迭代更新组成。DROID-SLAM 非常准确,比之前的工作取得了很大的改进,而且很稳健,灾难性故障的发生率大大降低。尽管使用单目视频进行训练,但它可以利用立体或 RGB-D 视频来提高测试时的性能。原创 2023-07-24 16:52:55 · 479 阅读 · 0 评论