- 博客(432)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 2024年自动驾驶规划控制面试及答案
A*吸取了Dijkstra 算法中的cost_so_far，为每个边长设置权值，不停的计算每个顶点到起始顶点的距离（G），以获得最短路线， 同时也汲取贪婪最佳优先搜索算法中不断向目标前进优势，并持续计算每个顶点到目标顶点的距离（Heuristic distance），以引导搜索队列不断想目标逼近，从而搜索更少的顶点，保持寻路的高效。DWA，TEB算法。通常情况下，在机器人高速运动的时候，想要得到非常连续、平滑、噪音低的运动控制，第3个约束条件是必不可少的，有的甚至还要求加速度的导数jerk都是连续的。
2024-07-22 18:43:12
1381
原创 跨本体算什么？卡耐基梅隆大学新作DexWild三界通杀：具身智能终于学会“不挑活”了！
DexWild 的提出，像是一股清流，为机器人泛化难、数据获取难这两个老问题提供了新解法。它打破了传统思路，不再依赖高成本的遥操作或模拟器训练，而是回归到了最自然、最丰富的资源：人类自身的日常动作。通过结合人类操作的多样性与机器人自身的“身体记忆”，DexWild 成功训练出了能适应不同任务、不同场景、甚至不同平台的机器人策略。更重要的是，DexWild 所展现出的能力，不仅仅是“模仿人类”，而是在逐步具备通用操作智慧的雏形——这正是“具身智能”所追求的目标。
2025-05-21 19:17:19
524
原创 机器人学习正在杀死“暴力Scale”！神作Scaling Law用在机器人上，就“不神”了……
然而在新环境中部署这样的模型仍需要收集数据进行微调，他们的目标侧重于训练一个可以直接部署在新环境和不可见对象中的策略，直接消除了微调的需要。b. 当在不同的环境中部署机器人时，例如在不同的家庭中，机器人必须在不同的平台上处理各种对象，这样的一般化是至关重要的。在这些不同的空间条件下成功执行的能力是必不可少的，因为现实世界中的对象很少固定在某个位置，有效的操作需要适应广泛的空间挑战；这突出了其的数据收集策略的高效率，能够zero-shot部署到新环境和对象，这种单任务策略所需的时间和成本是适中的。
2025-05-20 18:54:50
568
原创 一文读懂｜大模型智能体互操作协议：MCP/ACP/A2A/ANP
基于此发现结果，选择与用户任务匹配的远程智能体；用户触发任务请求（通常无需理解底层智能体系统的技术细节），客户端智能体接收请求后解析任务意图，通过检索远程智能体发布的能力卡片（Agent Card）匹配最适格的服务提供方。为更清晰理解主流智能体互操作性协议间的差异，下表对四个广泛讨论的框架进行横向对比：模型上下文协议（MCP）、智能体通信协议（ACP）、智能体间协议（A2A）与智能体网络协议（ANP）。然而，如何使智能体更好的调用外部工具，智能体与智能体之间如何有机地协作，仍然没有一个完美的答案。
2025-05-20 17:37:37
560
原创 真实场景成功率超85%！复旦大学提出端到端的零样本目标导航ELA-ZSON
同时，它还配备了一个由大语言模型驱动的“机器人大脑”，能自动决定何时探索、何时建图、何时重规划，整个过程无需人工干预，也不用预训练，在末尾部分展示了该方法的实际部署情况，在不同场景中都取得了非常SOTA表现。同时，框架中的导航过程完全由一个大语言模型（LLM）驱动的智能体控制，实现“指令-感知-规划-执行”的自动闭环，无需人为干预、训练或奖励设计。首先，系统将用户输入的图像或文本指令统一编码为语义向量，然后在场景中采样多个三维点，并计算这些点与目标嵌入之间的相似度。相似度最高的位置即被认为是目标所在。
2025-05-19 17:54:27
818
原创 顶刊收录｜IntNet：基于通信驱动的多智能体强化学习框架，显著提高智驾安全性
©️【深蓝AI】编译该成果已被IEEE RAL收录论文题目：IntNet: A Communication-Driven Multi-Agent Reinforcement Learning Framework for Cooperative Autonomous Driving论文作者：Leandro Parada; Kevin Yu; Panagiotis Angeloudis论文地址：https://ieeexplore.ieee.org/document/10844516在动态城市环境中部署互联自动
2025-05-18 21:35:08
718
原创 一台3D打印机就能造机器人？伯克利最新：硬件总成本不到5000美元，全身开源！
在娱乐领域，凭借其模块化和轻量化设计，结合动漫风格的外观和富有表现力的动作设计，它有望成为极具吸引力的动画机器人平台，尤其适合面向年轻观众的娱乐场景。而研究实验室开发的机器人，虽然性能出色，自由度高且扭矩大，例如伯克利仿人机器人（Berkeley Humanoid）、MIT仿人机器人（MIT Humanoid）等，但它们依赖先进制造技术，如CNC加工、激光切割等，这些技术需要专业设备和高超技能，只有少数机构能够掌握，这就使得这些机器人难以在更广泛的范围内推广应用。在仿人机器人的世界里，现状并不乐观。
2025-05-15 17:50:44
638
原创 深度解读 | 国防科大&清华：基于语言指令的空中目标导航GeoNav，成功率超SOTA模型12%！
Step1：给定一个指令后，在分层场景图HSG中检索提及的地标节点；Step2：根据目标与地标节点之间的关系，过滤掉错误边分支；Step3：得到子图分支后，通过目标与其他物体的关系来定位目标；Step4：如果查询失败，自动调整查询条件（例如，放宽关系类型），并递归地扩展搜索范围，以确保检索到最相关的结果。将导航命令转换为一系列查询操作。可用的操作如下：- get_geonode_by_name(name_pattern)：根据名称查找地理节点。
2025-05-15 15:41:57
864
原创 VLA落地难？2篇标志性成果解读：如何将DeepSeek R1 成功经验迁移至【具身智能】！
今天我们探讨：如何将DeepSeek的成功经验迁移至视觉-语言-动作（VLA）模型。众所周知，在自然语言处理领域，DeepSeek R1的横空出世，揭示了强化学习（RL）在大模型后训练中的革命性潜力。R1仅用传统方法1/3的计算资源，便实现了与GPT-4o相媲美的多步推理能力。其核心在于：冷启动自进化：摒弃监督微调（SFT）依赖，通过纯RL训练生成初始推理链，利用GRPO算法降低训练成本；
2025-05-14 19:54:26
907
原创 密西根大学新作——LightEMMA：自动驾驶中轻量级端到端多模态模型
然而，它们通常是可解释性有限的黑盒，在关键场景中会引发安全问题，并且它们需要大量、多样化的数据，使其容易受到数据不平衡和稀有性问题的影响。本文认为，在所有模型的提示和工作流程相同的情况下，这些随机失效反映了固有的模型局限性，而不是框架中存在系统缺陷。展示了一个场景，其中真值轨迹为直线行驶，但是预测的轨迹为右转，它未能识别出右侧的障碍物。此外，许多应用涉及商用车部署，而没有可获取的源代码或者详细的实现，这限制了它们在更广泛的研究和协作中的可用性。的商业模型依赖于稳定的网络连接，这在行驶车辆上可能是不可靠的。
2025-05-14 18:00:26
925
原创 首个窗口级无人机配送VLN系统！中科院LogisticsVLN：基于MLLM实现精准投递
系统通过语言理解模块解析用户请求，利用轻量化的VLM完成楼层定位、目标窗口识别，并结合深度辅助机制进行视角选择与导航控制，最终实现精准投递。为了测试这个系统是否真的有效，研究团队在一个逼真的虚拟城市环境里，设计了一个专门的数据集，模拟了各种建筑、不同风格的用户请求和复杂的送货场景。一旦选定新的视角，系统会在图像上标记若干探索方向，结合深度信息估算每个方向的安全行进距离，并将这些信息连同任务描述送入动作选择 VLM，选择最佳的移动方向与距离，从而实现连续、高效且避障的探索行为。
2025-05-13 17:43:50
1195
原创 降低60.6%碰撞率！复旦大学&地平线CorDriver：首次引入「走廊」增强端到端自动驾驶安全性
并忽略区域外的点。第一涉及解决约束车辆行为的有效表征缺失问题，通过在数据集中标注走廊、设计网络架构和制定损失函数，将走廊学习整合到端到端驾驶的多任务流程中。然而，考虑到驾驶环境的高度结构化特性，如车道和智能体边界框，使用矩形作为走廊表征是一种简单有效的方法。通过扩展优化的可微分性，使优化后的轨迹能无缝地在端到端学习框架中训练，从而提高安全性和可解释性。本文提出CorDriver方法，通过走廊表征增强了端到端自动驾驶的安全性，将走廊预测作为约束融入轨迹优化，在提升安全性的同时增强了可解释性。
2025-05-12 17:33:58
1126
原创 无需大规模重训练！GraspCorrect：VLM赋能机器人抓取校正，抓取成功率提升18.3%
值得关注的是，Ke等人最新提出的三维扩散执行器（3D Diffuser Actor），通过融合扩散策略与三维场景表征，实现了机器人状态条件动作分布空间的直接学习，在多项操作任务中刷新了性能记录。相较之下，采用基础的图像融合技术反而能生成精确可靠的目标状态合成图像，该方法在保持目标物体结构完整性的同时，精准维持对操作成功率至关重要的空间位姿关系。具体而言，在RLBench测试平台中，积木堆叠（68.3%）、插钉入孔（65.6%）和形状分类（44.0%）等场景下的任务成功率，仍显著低于80%的基准线。
2025-05-11 18:41:15
909
原创 RSS 2025｜斯坦福提出「统一视频行动模型UVA」：实现机器人高精度动作推理
以UMI杯子排列数据为例，UVA预测的行动与真实行动的误差较小。与视觉惯性SLAM系统相比，虽然UVA的误差略高，但仍在可接受范围内，并且具有更好的泛化能力，有望成为难以校准且失败率高的SLAM的替代方案。只关注行动的方法，像跳过视频生成的那些，虽然计算简单，但错失了视频带来的场景动态信息，容易过度依赖行动历史，在面对视觉干扰时就“露怯”了。它就像一位“协调大师”，致力于同时处理视频和行动信息，精准把握视觉与行动之间的潜在联系，让机器人在理解任务时更加“聪明”，还能在推理时快速做出行动预测。
2025-05-08 17:32:06
801
原创 即插即用！长安汽车&复旦提出LMPOcc：长期记忆先验实现占用预测任务新SOTA
在基于视觉的自动驾驶感知算法当中，3D语义占用预测任务可以出色的对静态场景和动态目标同时进行建模，实现细粒度的场景理解，目前受到了来自学术界和工业界的广泛关注。©️【深蓝AI】编译论文题目：ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy论文作者：论文地址：https://arxiv.org/pdf/2502.05450。
2025-05-06 17:52:58
677
原创 RSS‘25｜CMU提出统一空中操作框架：以末端执行器为中心，无人机实现高精度遥操作
论文题目：Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning论文作者：Guanqi He、Xiaofeng Guo、Luyi Tang、Yuanhang Zhang、Mohammadreza Mousaei、Jiahe Xu、Junyi Geng、Sebastian Scherer、Guanya Shi。
2025-04-28 17:34:29
844
原创 开源｜上海AILab：自动驾驶仿真平台LimSim Series，兼容端到端/知识驱动/模块化技术路线
随着自动驾驶技术快速发展，有效的仿真环境成为验证与增强这些系统的关键。来自上海人工智能实验室的研究团队推出了LimSim Series——一个革命性的自动驾驶仿真平台，它巧妙解决了行业面临的三大挑战：仿真精度与持续时间的平衡、功能性与实用性的冲突，以及评估系统的全面性。该平台采用兴趣区域创新性地优化计算资源，支持模块化、端到端及知识驱动型自动驾驶系统，并通过多维度评估指标提供深入系统性能分析。让一起探索LimSim Series如何加速自动驾驶技术的迭代与突破！©️【深蓝AI】编译。
2025-04-27 17:37:15
1108
原创 IEEE综述 | 车道拓扑推理20年演进：从程序化建模到车载传感器
车道拓扑推理技术在高精（HD）建图和自动驾驶应用中发挥着至关重要的作用。虽然近年来在该领域中取得了重大进展，但是很少有文献综合概述这些工作。本项调研系统性地回顾了车道拓扑推理方法的演变和现状，将其分为三种主要范式：基于程序化建模的方法、基于航拍图像的方法和基于车载传感器的方法。本文分析了从早期基于规则的方法到现代基于学习的解决方案的进展，这些基于学习的解决方案利用了transformers、图神经网络（GNNs）和其它深度学习架构。
2025-04-24 17:36:02
887
原创 20亿参数仅0.4GB，能耗骤降90%！微软开源全球首个2B参数「原生1.58bit」大模型
BitNet b1.58 2B4T 不仅是一款模型，更是一场范式革命。它让 AI 走进资源受限的边缘设备，助力中小企业与个人开发者拥抱先进技术；能耗降低 90%，为绿色 AI 树立标杆；开源生态降低技术门槛，激发全球创新。这款模型质疑了全精度权重的必要性，或将引领模型压缩新潮流。未来，BitNet b1.58 有望向更大规模扩展，支持多语言和多模态任务，结合专用硬件释放更大潜力。尽管在知识任务和硬件适配上仍有改进空间，其创新性已足以震撼行业。
2025-04-22 15:57:28
944
原创 Science子刊｜浙大高飞团队实现无人机「完全自主特技飞行」，成功率100%碾压人类顶尖飞手！
导读特技飞行涉及复杂的飞行动作，这些动作通常在常规飞行操作中不会执行，因为它们需要不稳定的姿态，本质上具有危险性。然而，这些空中特技对许多飞行动物的生存至关重要，往往是本能行为。例如，雀鹰和猎鹰能够通过垂直或倒置飞行迅速改变速度和方向，以追捕猎物或避开障碍物。蝙蝠擅长在空中翻转并倒挂在洞穴顶部，而乌鸦则展示令人印象深刻的特技来吸引同类。对这些物种而言，特技动作提供了在复杂环境中增强适应性和敏捷性的关键生存技能，用于捕食、栖息和交配。©️【深蓝AI】编译。
2025-04-21 17:58:09
1400
原创 RSS 2025｜苏黎世提出「LLM-MPC混合架构」增强自动驾驶，推理速度提升10.5倍！
实验还表明，RAG普遍提高了各模型的决策性能，而对于实际部署至关重要的模型量化对准确率的影响甚微，证明了优化后模型在保持性能的同时具有高效性。结果如下图所示，与采用固定参数的基线MPC相比，经过RAG和LoRA优化的LLM能够根据指令（如“保持车道中心”、“更平稳地驾驶”或“倒车”）显著改变车辆的闭环行为特性，在多个衡量控制效果的指标（如路径跟踪、速度跟踪、加速度平滑度等RMSE）上取得了平均高达52.2%的改善（以Qwen2.5为例），充分展示了该框架利用自然语言进行灵活控制调整的潜力。
2025-04-21 17:37:57
901
原创 多数据集SOTA！｜SmartWay：基于航点预测增强与回溯的「零样本视觉语言导航」
本文提出了一种适用于零样本视觉-语言导航（VLN-CE）任务的全新框架，通过优化航点预测与自适应决策机制，实现了更鲁棒的路径规划与高效的错误恢复。与以往方法相比，该研究在航点预测器设计上进行了系统性改进：结合了更强的视觉编码器、掩码式交叉注意力融合机制以及基于占据信息的损失函数，从而生成更准确、避障能力更强的航点预测结果。此外，该研究首次在连续导航环境中探索了多模态大语言模型（MLLM）作为导航器的应用，并引入了创新的回溯机制，使得导航系统在不依赖特定训练的前提下，也能实现显著的性能提升。
2025-04-17 18:05:12
659
原创 已开源！CMU提出NavRL ：基于强化学习的无人机自主导航和动态避障新方案
©️【深蓝AI】编译本文由paper一作——Zhefan Xu授权【深蓝AI】编译发布！论文题目：论文作者：近年来，强化学习（RL）在无人机控制领域展现出巨大潜力，为解决上述问题提供了新思路。强化学习允许无人机通过经验学习决策能力，提供更好的适应性和性能。然而，将强化学习应用于实际无人机导航仍面临三大挑战：1. 模拟到现实的迁移问题：强化学习需要在模拟环境中训练无人机，但模拟与现实世界之间存在感知信息差距，特别是相机图像方面。
2025-04-14 17:39:38
1175
原创 DeepSeek R2前兆曝光！DeepSeek联合清华提出：奖励模型推理时Scaling的全新方法
为了实现推理时的计算扩展，该研究采用并行采样方式，使模型能够在不同的原则下生成多个评析内容并进行投票，提升奖励判断的准确性与细粒度。对于提出的方法，该研究实现了 DeepSeek-GRM-27B-RFT（冷启动阶段版本），并在不同规模的语言模型上训练了 DeepSeek-GRM，包括 DeepSeek-V2-Lite（16B MoE）、Gemma-2-27B、DeepSeek-V2.5（236B MoE）以及 DeepSeek-V3（671B MoE）。(2) 在各种领域中生成准确奖励的能力。
2025-04-10 18:11:13
795
原创 KITTI多模态3D检测新SOTA！实例级对比蒸馏框架+14FPS加速登顶榜单
导读目前在工业界和学术界针对激光雷达和相机多模态融合的感知算法进行了广泛且深入的研究，并且取得了显著的成绩。相机可以捕获目标颜色和纹理等丰富的语义细节，激光雷达点云可以提供目标准确的深度和几何结构信息。利用图像和点云模态之间信息互补的优势，显著提升了3D目标检测任务的性能上限。虽然多模态3D目标检测算法可以充分利用不同模态之间互补的信息，但是由于稀疏性和视角的差异，这些模态数据之间的内在差异性也会对多模态3D目标检测提出重大挑战。此外，多模态的感知算法模型通常要优于使用单一模态的感知算法模型。
2025-04-09 19:38:17
941
原创 琴键上的强化学习：让机器人在真实世界里弹钢琴！
不过，与以往环境不同的是，这里的观察空间不包含指法信息，这对机器人的探索增加了难度，也凸显了合理设计奖励函数的重要性。在科技飞速发展的今天，机器人的能力边界不断拓展。这项关于机器人弹钢琴的研究为机器人操作领域开辟了新方向，尽管目前还存在一些不足，但随着技术的不断进步，相信机器人在复杂操作任务上会越来越接近人类水平，为未来的科技发展带来更多惊喜。硬件上，现有的多指机器人手灵活性不如人类，手指的伸展和弯曲受限，手腕使用也不够灵活，后续研究可以探索如何改进硬件，减少不必要的手部动作，利用更灵巧的机器人手。
2025-04-09 19:36:55
673
原创 闭环SOTA！北航DiffAD：基于扩散模型实现端到端自动驾驶「多任务闭环统一」
端到端自动驾驶（E2E-AD）已经快速成为实现完全自主驾驶的一种有前景的方法。然而，现有的E2E-AD系统通常采用传统的多任务框架，通过单独的特定任务头来解决感知、预测和规划任务。尽管这些系统以完全可微分的方式进行训练，但是它们仍然会遇到任务协调问题，系统复杂度仍然很高。本项工作引入了DiffAD，这是一种新的扩散概率模型，它将自动驾驶重新定义为一种条件图像生成任务。
2025-04-02 17:54:37
894
原创 上海交大发布CoLMDriver：首个基于LLM的全流程协作驾驶系统，成功率提升11%！
©️【深蓝AI】编译论文题目：CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving论文作者：Changxing Liu, Genjia Liu, Zijun Wang, Jinchang Yang, Siheng Chen论文地址：https://arxiv.org/abs/2503.08683。
2025-04-01 17:56:07
524
原创 ICLR 2025｜华科OVTR：首次实现端到端开放词汇多目标跟踪，刷新性能SOTA！
多目标跟踪（MOT）是视频感知的核心技术，广泛应用于自动驾驶、视频分析等领域。传统 MOT 方法通常基于闭合词汇（closed-vocabulary），只能跟踪训练时见过的类别，如“人”、“车”、“自行车”。然而，现实世界复杂多变，经常出现训练时未见过的新类别，传统模型在这种情况下往往表现不佳。而人类却能轻松识别并跟踪任何物体，这种能力启发了研究者提出开放词汇多目标跟踪（OVMOT）的概念——让模型在零样本条件下识别和跟踪新类别，以满足智能城市、自动驾驶等场景的多样化需求。然而，1.
2025-03-28 18:02:30
789
原创 已开源｜清华大学发布：首个融合4D雷达的多模态协同感知数据集，35万标注框！
指利用单一平台（路侧单元或车载设备）的传感器数据完成3D物体识别。单端3D目标检测面临两大核心挑战：需分别实现相机图像的三维几何映射、LiDAR点云的高效特征提取、4D雷达（含速度信息）的稀疏数据表征，确保各模态独立感知精度。需解决跨模态时空对齐（坐标系/时序同步）、动态场景下的数据错位补偿，以及传感器异常时的鲁棒性保障，实现稳定融合检测。该任务包含两种典型视角场景：基于V2X-Radar-I数据集，通过部署在道路基础设施的雷达等传感器实现环境目标检测；
2025-03-25 19:09:01
1005
原创 地平线AlphaDrive：首个基于GRPO的自动驾驶大模型，仅用20%数据，性能超越SFT 35%！
端到端自动驾驶成为最具代表性的模型之一。它们以传感器数据为输入，利用可学习的神经网络规划车辆的未来轨迹。得益于大规模驾驶演示数据，端到端模型通过扩展训练数据和增加模型参数，不断提升了其规划能力。然而，由于其黑盒性质和缺乏常识，端到端模型在处理复杂和长尾驾驶场景时仍面临重大挑战。同时，大语言模型（LLMs）展现出卓越的理解和推理能力。它们的能力已从单模态的文本理解扩展到多模态的视觉语言处理。VLMs 的常识和推理能力可以弥补端到端模型的局限性。将VLMs应用于自动驾驶的研究当前分为两个方向。
2025-03-24 17:56:23
1104
原创 人大&字节最新成果｜FlexWorld：首次实现从单图生成高保真动态3D场景的突破性框架
其次，摄像机轨迹规划的重要性通过去掉 Zoom-out 轨迹的实验得以验证，生成场景的内容与输入视角不匹配，导致结构模糊（见图 9b），说明初始拉远变焦（Zoom-out）对于扩展三维场景不可或缺。特别地，该研究通过在高精度深度估计的训练数据上微调先进的视频基础模型，使得 V2V 模型能够在大范围摄像机变化的情况下生成高质量的内容。综合定性与定量结果，FlexWorld 生成的三维场景不仅在 3D 结构一致性上表现优异，同时在视觉质量方面也展现了显著优势，证明了其在三维场景生成任务中的有效性。
2025-03-23 18:56:06
755
原创 7大主流仿真平台深度解析｜具身智能革新：GPU加速80倍+生成式AI，效率飙升！
在机器人和人工智能研究领域，仿真平台扮演着至关重要的角色。它们不仅能够加速算法开发和验证过程，还能显著降低研究成本并提高安全性。高质量的仿真环境使研究人员能够在不涉及实体硬件的情况下，快速测试和优化各种算法和策略。这种方法不仅降低了设备损坏的风险，也大大减少了实验所需的时间和资源投入。特别是在涉及复杂场景或危险操作的研究中，仿真平台的价值更加凸显。本文将详细介绍七个主流的仿真平台，涵盖它们的特点、应用场景和技术优势。这些平台各具特色，能够满足不同研究和开发需求。
2025-03-21 17:56:03
860
原创 【IROS 2025】CMU提出路径规划器PIPE：机器人探索效率提升14.6%，地图准确率提高9.3%！
该研究提出了一种基于路径的信息增益探索方法（PIPE），旨在优化机器人在未知环境中的探索效率。不同于传统的基于前沿点的探索方法，PIPE 通过结合环境预测、路径级别的信息增益计算和不确定性评估，使机器人能够在选择路径时更加智能化，从而最大程度地减少探索过程中的信息不确定性。实验结果表明，PIPE 在多个复杂室内环境中均表现出优越的探索效率和更高的地图构建精度。
2025-03-20 17:57:43
1410
原创 顶刊收录｜武大最新成果：具身智能目标导航新方案，成功率提升23%，路径效率优化31%！
该研究提出了面向物体-目标导航的情境感知图推理（CGI）与生成式对抗模仿学习（GAIL）。得益于所提出的CGI，智能体能够在导航过程中根据图像、动作和记忆等动态上下文信息灵活推断对象关系。结合图注意力网络，CGI能够让智能体将注意力集中在更加关键的对象关联上，从而有效缩小搜索范围。与此同时，通过GAIL生成动态奖励并与环境奖励相结合，智能体可以在专家示例的指引下学会更稳健的导航策略，从而避免陷入卡住或循环运动等失败状态。最后，研究将A3C强化学习算法与GAIL相结合，以实现稳定的策略训练。
2025-03-19 17:37:31
782
原创 Nature子刊｜机器人终身学习框架LEGION实现零遗忘，成功率高达84%！
其创新的知识空间设计使机器人能够动态推断、保存和组合任务知识，而语言嵌入的引入则显著增强了机器人对任务语义的理解能力，使其在面对复杂、长时程任务时表现出更强的泛化能力和灵活性。近日，来自慕尼黑工业大学、南京大学、中山大学和清华大学的研究团队提出了一种名为基于贝叶斯非参数模型的语言嵌入生成增量离线策略强化学习框架（LEGION）的机器人终身强化学习框架，该框架通过结合贝叶斯非参数模型和语言嵌入，实现了机器人在终身学习中的知识积累与重利用，并在《Nature Machine Intelligence》上发表。
2025-03-18 18:30:29
493
原创 Topo2Seq：突破DETR局限，车道拓扑推理新高度
从透视图（PV）中提取车道拓扑对于自动驾驶的规划和控制是至关重要的。该方法为自动驾驶汽车提取潜在的可行驶轨迹，而不依赖于高精（HD）地图。然而，DETR类框架的无序性和弱远距离感知可能会导致线段端点错位和拓扑预测能力有限等问题。受到语言模型中上下文关系学习的启发，道路的连接关系可以表征为显式的拓扑序列。本文引入了Topo2Seq，这是一种通过拓扑序列学习来增强拓扑推理的新方法。Topo2Seq的核心概念为车道线段解码器和拓扑序列解码器之间随机顺序的提示到序列学习。
2025-03-16 19:57:47
724
原创 NVIDIA×卡内基梅隆大学重磅突破：大语言模型重塑车联网协同自动驾驶，开创V2V-LLM新范式
随着深度学习算法的进步、计算基础设施的发展以及大规模真实世界驾驶数据集的发布，自动驾驶技术取得了显著进展。然而，当前自动驾驶车辆的感知和规划系统主要依赖于其自身的LiDAR传感器和摄像头来检测周围重要物体并规划未来轨迹。这种方法在传感器被遮挡或发生故障时可能会遇到安全关键问题。在这种情况下，自动驾驶车辆无法准确检测所有附近的重要物体，导致后续轨迹规划结果变得不可靠。为了解决这个安全关键问题，近期研究提出了基于车辆间（V2V）通信的协同感知算法。
2025-03-16 19:57:19
886
原创 避障成功率提升40%！ ClipRover 仅使用单目视觉实现零样本推理+高效导航
为了区分可导航的空间和不可导航的空间，文章作者设计了一组描述清洁且可导航环境的正向提示，例如：“一张（平坦|开放|宽阔|清晰的）{地板|地面|走廊}的照片”，以及一组描述被障碍物堵塞的空间的负向提示，例如：“一张[裁剪|模糊|不完整]的（被阻挡|杂乱|拥挤的）{场景|空间}的照片”和“一张（大|阻挡通道的）{物体|物品}的照片”。本论文提出了ClipRover，一个新颖的框架，利用通用视觉语言模型（VLM）的空间上下文感知能力，引导机器人在未知环境中的探索和目标发现。左侧：代表机器人机载摄像头的合成图像；
2025-03-13 17:10:09
971
原创 成功率暴涨44%！VL-Nav：像素级视觉语言导航，让机器人像人一样思考
在本文中，作者介绍了 VL-Nav，这是一种视觉 - 语言导航框架，能够在资源受限的平台上实现实时高效运行。通过将像素级视觉 - 语言特征与基于好奇心的探索策略相结合，作者的 CVL 空间推理方法在多种室内和室外环境中展现了稳健的性能。在实际测试中，VL-Nav 不仅在 Jetson Orin NX 上实现了 30 赫兹的实时导航，而且比现有方法提高了 44.15%，总体成功率达到 86.3%。
2025-03-13 17:09:30
831
俞刚-物体检测的过去、现在和未来.pdf
2020-09-07
矩阵指数与对数运算的实现
2014-10-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人