出发下一站！上岸自动驾驶多模态LLM Agent

最新推荐文章于 2025-05-22 15:47:22 发布
最新推荐文章于 2025-05-22 15:47:22 发布
阅读量284 收藏
点赞数
文章标签： 自动驾驶 人工智能 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247646250&idx=1&sn=a53f1b8dd443a929bab95d221a821212&chksm=cf2e06dc037105ef4a45f302a7b09e6bc21abe6f8e798e6866e70770d686eb57e1e71dc5fbb2&scene=126&sessionid=0
版权

今年6月清华、上海AI lab、西工大、浙大和中国电讯的论文将大语言模型 (LLM) 的推理能力应用于具身任务，实现具身多智体协作的高效LLM落地。现在入局自动驾驶正当时！

b7cae9cb17f1540dd547663cf0c0dc6d.gif

LLM-Agents可以说是为自动驾驶研究工作开辟了新道路，LLM Multi-Agent结合自动驾驶将成为2025年研究热点！因此研梦非凡于12月20日晚（周五），邀请了从事多模态大模型研究的王导师，为大家独家讲解《大模型的下一站：LLM-Multi Agent》（AI前沿直播课NO.88），主要讲解ACL'24的前沿研究。

从LLMs的行业热点及顶会热门方向入手，到多智能体的创新点和相关工作详解，重点讲解多智能体算法框架、实验要点，并具体演示代码。（文末查看5位导师现有课题）

👇🏻扫描二维码找助教0元预约直播课！

aecf5785c36ff1d36d7ea8cf56fa4b65.png

凡预约即可免费领取200余篇相关论文（40篇LLM-Multi Agent与自动驾驶结合工作+20篇多智能体+70篇多模态+120篇大模型）

10b36c56ada507345c0542ddb71e6bf9.gif

直播课课程大纲

《WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models》

一、多模态智能体核心根据

行业热点

  • 2025顶会热门方向

  • 大语言模型智能体的应用

  • 多模态大语言模型的迅速发展

二、找创新点

思考研究现状

  • Web操作自动化的研究意义

  • 目前智能体在Web操作上关注什么？

  • 目前Benchmark关注什么？

创新点

  • 提出了一个多模态的Web智能体WebVoyager

  • 提出了一个真实Web世界任务，并引入了一个自动评估协议

三、相关工作详解

  • 大模型智能体应用

  • 智能体在Web操作中的应用

  • 多模态大语言模型

👇🏻扫描二维码找助教0元预约直播课！

cdaae8a274025fc857ae0a43280c8a3a.png

凡预约即可免费领取200余篇相关论文（40篇LLM-Multi Agent与自动驾驶结合工作+20篇多智能体+70篇多模态+120篇大模型）

四、算法框架

  • Browsing Environment

  • Observation Space

  • Action Space

20f726dfca9dfd69ae7b11632a3c5ff6.jpeg

五、实验要点

  • Benchmark for WebVoyager

  • Data Construction

  • Experimental Details

  • Results and Discussion

六、探索

  • WebVoyager Python代码实现

    👇🏻扫描二维码找助教0元预约直播课！

3beb1a5467a6d73d5d7d2fe5d549865e.png

凡预约即可免费领取200余篇相关论文（40篇LLM-Multi Agent与自动驾驶结合工作+20篇多智能体+70篇多模态+120篇大模型）

ba68fdb2635b9e026e1f00ca9264cef3.gif

ps：研梦非凡开设的前沿论文系列直播，旨在帮助大家提升读论文技能，快速抓住重点，掌握有效方法，进而找到创新点，轻松完成论文工作。（下滑查看导师现有课题）

研梦非凡科研论文指导服务

如何快速找到idea，如何正确的选择模型，怎么避免与其他工作重复， 什么样的实验计划省时效果显著，一边实验一边出论文初稿技能，针对不同的期刊会议绘图方法，终稿完善，投稿策略，期刊/会议选择，response，直到accpet！研梦非凡全程陪伴你产出科研成果！

c6d407095dfc19c215469a9f104cb725.jpeg5c8c62ec27e7912f942f5a28141577b7.jpeg

<<< 左右滑动见更多 >>>

如果你需要发CCF A会-C会、SCI一区-四区、EI会议/EI期刊、毕业大论文、毕业设计等，都可以扫码来研梦非凡匹配合适的论文指导服务。

e8bdb158570fe87d66e0baf79af26285.png

研梦非凡导师团队

研梦非凡的导师来自海外QStop50、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，以及国内外知名人工智能实验室研究员。这是一支实力强大的高学历导师团队，在计算机科学、机器学习、深度学习等领域，积累了丰富的科研经历，研究成果也发表在国际各大顶级会议和期刊上，在指导学员的过程中，全程秉持初心，坚持手把手个性化带教。包括但不限于以下导师～～

我们为自动驾驶方向的同学整理了导师们现有课题及目标会议/期刊区位：

57539b6eaa045c609c1d0259687d207c.jpeg83cf05857d3f78d13755e7f23d2812c3.jpeg2b127f6a597d12e50949132e43ea56ef.jpeg78c8a3634c9474fe7c0286c9abc880f2.jpeg

<<< 左右滑动见更多 >>>

扫码加助教为你匹配合适课题的大牛导师

733969d15961925942b68ee7542ee150.png

我们不是小作坊哦～我们背靠研途考研（就是张雪峰老师和徐涛老师在的那个研途考研），做教育十余年，重交付，重口碑，是我们一贯的公司理念！

6ae3f30e71417eb00e0033e5fe29689c.png

51-26 DriveMLM：多模态大模型与自动驾驶规划对齐
AIgraphX
03-04 1784
DriveMLM是来自上海AILab、港中文、商汤、斯坦福、南京大学和清华大学的工作。该模型使用各种传感器(如相机、激光雷达)、驾驶规则和用户指令作为输入，采用多模态LLM对AD系统的行为规划进行建模，做出驾驶决策并提供解释。该模型可以用于闭环自动驾驶，在Apollo等现有AD系统中即插即用。
万字干货｜复杂表格多Agent方案：从LLM洞察、系统性思考到实践经验总结
2401_85375186的博客
11-14 1086
2022年11月，ChatGPT平地一声雷，开启了**“大模型+”时代，为整个AI软件市场带来了无限商机，据ARK Invest的首席未来学家Brett Winton预测，到2030年左右，AI软件市场的市场总值将达到13万亿美元（当前，全球IT支出为4+万亿美元），其中生成式AI的市场总值将达到1.3万亿美元左右，是2022年（400亿美元）的32+倍，而近期Gartner发布了2024中国基础设施战略技术成熟度曲线，清楚地表明，未来2-5年生成式AI依然处于期望膨胀期**，可见，其潜力之巨大。
解码通用 AI Agent：七步构建你的智能系统
m0_56255097的博客
12-21 1626
如何才能打造一个能够灵活应对多样场景、高效执行复杂任务的通用智能体系统？传统的硬编码流程已经无法满足快速变化的需求，而简单的提示词模板又显得过于僵化和脆弱。本文作者详细阐述了从零构建通用 LLM Agent 的七个关键步骤，为读者提供了一个从模型选择、控制逻辑设计到工具集构建、规划后续行动的完整路径。这套方法论不仅仅来自理论推演，更凝聚了作者在实际项目中的宝贵经验。通过对模型能力、行为模式、内存管理等关键环节的深入剖析，本文为读者呈现了一个真实的、可落地的通用 AI 智能体构建蓝图。
如何系统的从0到1学习大模型？相关书籍及课程那些比较好？2025上岸大模型只需要收藏这一篇
m0_65555479的博客
03-09 841
这个概念我是从去年这时候才了解到的，在不知道大模型之前，我甚至以为和大模型就是同一个东西，是可以划等号的。直到国内的AI产品一茬又一茬的冒出来，我才在使用的过程中逐渐对大模型这个概念有了认识。说白了，chatGPT只是大模型的一个小小的知识范围，是一个更具体的概念，是利用大模型技术实现的聊天机器人，专注于自然语言理解和生成。而大模型是一个广泛的概念，涵盖了所有参数众多、能够执行复杂任务的机器学习模型。也就是说，所有的chatGPT都可以被视为大模型，但并非所有的大模型都是chatGPT。
大模型入门教程（2025最新）从零基础入门到精通，2025年大模型岗位上岸秘籍：冲击大厂大模型岗位，这份指南助你成功！
2401_85343303的博客
05-12 1134
大模型学习路线图 第一阶段：基础知识准备 在这个阶段，您需要打下坚实的数学基础和编程基础，这是学习任何机器学习和深度学习技术所必需的。 \\1. 数学基础 * **线性代数**：矩阵运算、向量空间、特征值与特征向量等。 * **概率统计**：随机变量、概率分布、贝叶斯定理等。 * **微积分**：梯度、偏导数、积分等。
转行AI产品经理，零基础也能轻松入门教程（非常详细），AI产品经理入门到精通，收藏这一篇就够了！
2401_85343303的博客
05-06 1010
AI产品经理是对AI技术应用和功能落地负责，并为公司带来商业价值的一群人，主要集中在。
大模型应用开发工程师！年包98w！拿到字节 offer 了！
2401_85343303的博客
12-24 961
这个岗位，2025年真的要爆了！我前段时间连续参加了三场AIGC峰会，我发现，下一个高薪风口一定是**「大模型应用开发工程师」！**百度、字节、华为等一线大厂，都在高薪挖人，有的，就能给到，未来5～10年的人才需求显而易见！薪资高意味着门槛也高，不会，上岸大厂核心部门就太难了！今天，我给大家分享一个圈内爆火的**《大模型应用开发工程师就业速成计划》**，帮你重塑核心竞争力，报名👇直播课+AI技术原理+实战项目✔️掌握前沿技术 ✔️大模型开发能力升级✔️点亮实战项目经验 ✔️清晰职业规划。
想要转行ai赛道？看完这篇少走三年弯路（附大模型教程）
2401_82469710的博客
05-01 1292
 最近有朋友说，想转行ai赛道，做大模型之类的工作，不知道有哪些岗位。今天就来聊聊，AI大模型有哪些方向，新人怎么转行大模型赛道，让大家少走弯路，早日在AI领域如鱼得水！
免费开放试乘体验！苏州金龙自动驾驶巴士即将上线阳澄数谷
xinxunkandian的博客
05-19 407
目前，苏州金龙“深蓝”、“清源”等智能网联汽车，已在上海、天津、浙江、江苏等省市的公共道路和景区道路实现示范性运行和商业化运营，并且先后服务于第19届杭州亚运会、2023年ITS世界大会、2024年世界互联网大会等重要赛事盛会，自动驾驶商业运行累计里程超百万公里，接待乘客达到数十万人次。在智能网联领域，苏州金龙多年来坚持自主创新，持续进行智能网联自动驾驶技术方面的潜心研究，现已获得智能客车相关专利70余项，其中发明专利10项，这些专利大都是自动驾驶领域必备的核心技术。
Python在自动驾驶数据清洗中的应用
Echo_Wish
05-19 499
在自动驾驶领域，数据清洗是确保系统稳定性和安全性的关键步骤。自动驾驶涉及多种传感器数据，如LiDAR、摄像头、IMU、GPS和CAN总线数据，这些数据通常存在噪声、缺失值、不一致格式和异常点。Python结合Pandas、NumPy和Scipy等工具，能够有效处理这些数据问题。数据清洗的核心步骤包括缺失值处理、噪声过滤、数据标准化、异常值检测和数据对齐。通过代码示例展示了如何填充缺失值、平滑噪声数据、归一化数据以及检测异常值。数据清洗不仅提升数据质量，还直接影响深度学习模型的收敛速度和系统安全性。随着技术的
w~自动驾驶~合集3
whaosoft~aiotの开发板商城
05-20 891
在所提出的定制交通仿真管道中，构建了一个轨迹生成函数库来微调LLM，这有助于将用户提示转移到不同的代理轨迹中，包括切入和掉头等动作。此外，该管道包含HDMap生成器，用于仿真背景道路结构。在此阶段，先前生成的代理轨迹充当条件输入，确保生成的HDMap符合流量约束。在下文中，我们将详细介绍LLM的微调过程和HDMap生成器的框架。用于轨迹生成的微调LLM以前的交通仿真方法需要复杂的参数规范，包括代理的速度、位置、加速度和任务目标等细节。
自动驾驶中的预测控制算法：用 Python 让无人车更智能
Echo_Wish
05-21 177
自动驾驶技术的进步离不开先进的控制算法，其中预测控制（MPC）因其优化未来驾驶行为的能力而备受关注。MPC通过建立车辆动态模型、定义优化目标、引入约束条件并求解优化问题，能够处理复杂环境下的动态避障、曲线道路等挑战。本文详细介绍了MPC的核心原理，并展示了如何使用Python和CasADi库实现MPC控制算法，使无人车能够预测未来轨迹并优化驾驶命令。此外，MPC与AI技术的结合（如深度学习、强化学习）进一步提升了控制精度和智能化水平。MPC作为自动驾驶的关键技术，通过提前优化驾驶策略，显著提升了无人车在复杂
Python与自动驾驶数据集处理：构建智能驾驶的基石
Echo_Wish
05-22 185
Python在自动驾驶数据集处理中扮演着核心角色，帮助应对多模态数据、数据量巨大、清理标注复杂及实时性要求高等挑战。通过Python，开发者能够进行数据清理与预处理、数据增强、点云处理、图像处理和时间序列分析等任务。代码示例展示了如何使用Python处理LiDAR点云数据、进行图像增强以及分析GPS轨迹。未来趋势包括云计算与边缘计算的结合、Transformer模型的应用以及数据隐私与安全的关注。Python的灵活性和强大功能使其成为构建智能驾驶基石的不可或缺工具。
DriveGenVLM：基于视觉-语言模型的自动驾驶真实世界视频生成
qq_54556560的博客
05-19 1483
哥伦比亚大学于2024年8月发表的论文《DriveGenVLM: Real-world Video Generation for Vision Language Model based Autonomous Driving》提出了一种创新的自动驾驶技术框架。该框架结合了去噪扩散概率模型（DDPM）和视觉语言模型（VLM），旨在生成和理解真实世界的驾驶视频。通过使用Waymo开放数据集进行训练，并采用Frechet Video Distance（FVD）评分评估视频质量，DriveGenVLM框架能够生成高质
点云（point cloud）：自动驾驶的“三维扫描图“
最新发布
frostmelody love & share. In love with moments, in tune with feelings. 记录所爱，分享所感
05-22 624
就是用很多“点”来表示一个物体或场景的三维形状和结构。（用点描绘的3D画，好比素描，但不是用线条勾勒，而是“点点点点”拼出物体形状）这正是点云的核心特征。自动驾驶汽车的“大脑”看到的就是类似这样的数据，并通过算法来解读这些点，从而“看懂”世界。在自动驾驶系统中，，是决策与规划的基础。这就依赖于。点云本质上是由激光雷达（LiDAR）等传感器扫描生成的的集合。每一个点都精确记录了物体的空间信息和表面特性。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1809
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 1522
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
ROS2使用yoloV12，V11，V10，V9，V8，V5等
qq_35598561的博客
05-19 696
ROS2使用yoloV12，V11，V10，V9，V8，V5等
多模态大模型自动驾驶
01-11
### 多模态大模型在自动驾驶中的应用 #### 环境感知 多模态大模型能够融合来自不同传感器的数据，如摄像头、雷达和激光雷达等，从而构建更加精确的驾驶场景地图。这种能力使得系统可以更全面地理解周围环境，提高对道路、车辆和其他障碍物的识别精度[^4]。 ```python import numpy as np def fuse_sensor_data(camera_data, radar_data, lidar_data): """ 融合多种传感器数据以增强环境感知效果 参数: camera_data (np.array): 来自摄像头的数据 radar_data (np.array): 来自雷达的数据 lidar_data (np.array): 来自激光雷达的数据 返回: fused_data (np.array): 融合后的综合数据表示 """ # 假设这里有一个复杂的算法来处理并融合这些输入源的信息 fused_data = np.concatenate((camera_data, radar_data, lidar_data), axis=0) return fused_data ``` #### 路径规划 基于所获得的地图信息以及设定的目的地点位，多模态大模型可以通过分析交通状况等因素计算出最佳行驶路线。这不仅有助于避开可能存在的危险区域，还能有效减少行程时间，提升整体效率。 ```python from scipy.optimize import linear_sum_assignment def plan_optimal_route(scene_map, destination): """ 根据当前场景图谱及目的地坐标规划最优化路径 参数: scene_map (dict): 当前场景下各要素的位置关系描述字典 destination ((float,float)): 终点坐标的元组形式(x,y) 返回: optimal_path (list[tuple]): 表达由起点至终点之间一系列节点组成的列表 """ cost_matrix = compute_cost_matrix(scene_map, destination) # 计算成本矩阵函数定义省略 row_ind, col_ind = linear_sum_assignment(cost_matrix) optimal_path = [(scene_map['nodes'][i], scene_map['nodes'][j]) for i,j in zip(row_ind,col_ind)] return optimal_path ``` #### 驾驶决策 当面对复杂路况时，比如遇到红绿灯变化或是其他突发情况，多模态大模型可以根据实时收集到的感觉资料做出合理的反应动作——诸如调整速度、改变方向甚至紧急制动等措施，确保行车安全的同时也提高了乘客舒适度。 ```python class DrivingDecisionMaker(object): def __init__(self, model_weights='pretrained_model.h5'): self.model = load_pretrained_model(model_weights) def make_decision(self, perception_info): """ 根据感知层传来的信息作出相应的控制命令 参数: perception_info (dict): 包含但不限于距离前方障碍物的距离、信号灯状态等 返回: action_command (str): 控制指令字符串('accelerate', 'decelerate', ...) """ input_tensor = prepare_input_for_inference(perception_info) # 准备用于推断过程的张量转换逻辑未给出 prediction = self.model.predict(input_tensor)[0] if prediction >= 0.8: action_command = "stop" elif prediction < 0.2: action_command = "go" else: action_command = "slow_down" return action_command ``` #### 人机交互 除了上述功能外，多模态大模型还支持通过语音或手势等方式来进行自然的人车交流互动，使驾驶员能够在不分散注意力的情况下完成某些特定操作，例如设置导航地址或者查询附近的服务设施位置等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值