weixin_44879707的博客

具身智能模型通常使用现成的视觉主干，如CLIP，来编码它们的视觉观察。虽然这种通用表示编码了关于场景的丰富的语法和语义信息，但大部分信息往往与手头的特定任务无关。这些无关信息会在学习过程中引入噪声，并分散主体对与任务相关的视觉线索的注意力。受人类选择性注意的启发——人们根据自己的经验、知识和手头的任务来过滤自己的感知的过程——我们引入了一种参数高效的方法来过滤具身人工智能的视觉刺激。我们的方法使用一个小的可学习codebook模块产生了一个任务条件的瓶颈。

通用导航大模型NaviLLM论文简读《Towards Learning a Generalist Model for Embodied Navigation》

论文简读《VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation》

论文阅读《Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners》

论文阅读《ESC: Exploration with Soft Commonsense Constraintsfor Zero-shot Object Navigation》

A2Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models简读

VoroNav: Voronoi-based Zero-shot Object Navigationwith Large Language Model 简读

看不见环境下的目标目标导航（ObjectNav）是嵌入人工智能的一项基本任务。现有工作中的代理学习基于二维映射、场景图或图像序列的Object导航策略。考虑到这项任务发生在三维空间中，三维感知代理可以通过学习细粒度的空间信息来提高其Object导航能力。然而，由于低样本效率和昂贵的计算成本，利用3D场景表示对于这个底层任务中的策略学习可能是非常不实际的。在这项工作中，我们提出了一个基于两个简单的子策略的具有挑战性的三维感知对象导航的框架。角导向探索策略和类别感知识别策略利用在线融合三维点作为观测同时执行。

PCL将无序轮廓点云排序的算法思路和代码

PCL中常用的一些处理算法

Windows CUDA11+visual studio 2019配置libtorch