简单易上手！LLMs在自动驾驶领域应用的框架

LangProp是一个将语言模型应用于驾驶的代码优化框架，使用LLMs实现数据驱动代码优化的框架，并且证明了其在CARLA中生成驾驶策略的能力，做模型融合的一定要学习一下。

研梦非凡邀请中科院某所研究员周老师为大家详细讲解《LLMs在自动驾驶中的应用》，从LangProp算法框架的原理，到LangProp框架应用于自动驾驶领域的实现细节和实验结果。

扫码找助教预约免费直播

再领取LLMs/自动驾驶156篇论文

《LLMs在自动驾驶中的应用》直播内容

《LLM’s application for autonomous driving》

标记摘要重点

• 以监督/强化学习的设置，并借助大语言模型（LLMs），生成一个迭代优化代码的框架----LangProp。

• 大语言模型（LLMs）在零次学习（zero-shot）的表现

• LangProp可以验证代码的性能

• 采用指标和数据驱动的训练范式

• 如何通过更多的训练数据来提高驾驶性能，通过对这种代码优化过程采用指标和数据驱动的训练范式，将训练范式从机器学习迁移到LangProp，例如模仿学习、强化学习和DAgger的过程。

挖研究背景

• LLMS FOR CODE GENERATION（大语言模型在代码生成方面展现巨大的能力）

• LARGE LANGUAGE MODELS FOR AUTOMATING COMPOSITIONAL TASKS（提出更通用的代码优化框架，可应用于自动驾驶等多个领域。）

• AUTONOMOUS DRIVING AND THE CARLA BENCHMARK（自动驾驶模块化系统和端到端系统）

研究算法框架

• LangProp算法框架简介

• LangProp 算法框架----策略设定

• LangProp算法框架----训练目标

• LangProp算法框架----前向和反向传播

• LangProp算法框架----优先级

• LangProp算法框架----策略重排序和更新

• 提示模板引擎简介

• 提示模板引擎---提示更新实例

• 训练范式

了解算法应用

• CARLA环境中使用LangProp框架

• 专家系统

• LANGPROP代理

• 模仿学习、DAGGER和强化学习

扫码找助教预约免费直播

领取LLMs/自动驾驶156篇论文

实验-尽量复现

• 实验结果

• 离线数据集的偶然冲突实验

发展预测（有可能就是idea哦！）

• 训练范式转化

• 性能指标

• 基于LLM的训练范式

直播课主讲导师

周导师

• 目前工作于中科院某所，主要从事卫星产业相关研究与应用，研究卫星遥感与3d点云的相关处理，以及高光谱和sar图像的处理。参与某市微信遥感视觉大数据项目一项以及其他项目若干项等。参与某汽车企业自动驾驶部门的合作，参与相关自动驾驶算法的研究。

• 学术成就：发表sci、ccf-b等论文三篇，专利4篇。

• 可带方向：遥感图像处理、3d点云处理、自动驾驶。

直播时间

3月15日晚20:00

扫码找助教预约免费直播

领取LLMs/自动驾驶156篇论文

ps：研梦非凡做前沿直播，主要是教会大家如何读论文时候抓住重点，从实际读论文的过程中，让大家掌握有效的方法，发现找创新点和写论文阅读报告的能力。

计算机视觉研究院的粉丝如果你的研究包括以下方向/方法，或者有你感兴趣的idea，可以享受粉丝福利（1v1论文指导选题阶段学习规划部分先meeting后付款，具体活动可扫码咨询助教）

计算机视觉研究方向

计算机视觉方向科研常用方法

计算机视觉方向现准备好的idea

你的研究方向/方法/idea可以不限以上计算机视觉方向，cv全方向/nlp全方向/机器学习/深度学习都可以来研梦非凡匹配到合适的科研指导。

粉丝福利：1v1论文指导-选题阶段-学习规划部分（先meeting后付款），具体活动可扫码咨询助教👇

根据计算机视觉研究院粉丝的科研需求我们推出两种论文指导方案

1v1定制化论文指导

• 按不同的需求收费，区别于其他1v1论文辅导收全程指导费。

• 针对在完成论文的过程中某些部分遇到难题，而找不到路径的同学，协助其用更少的费用快速地解决问题。

1v1定制化论文指导分三个阶段：

选题阶段

1. 导师根据学员实际情况与需求，引导论文idea或给出论文idea

2. 导师针对已有研究成果进行梳理和分析指导，让学员了解研究领域的发展状况、研究方法和趋势，确定论文idea的研究方法和目标。

3. 导师结合己有研究成果的情况和论文idea，对学员后续的研究方法做出初步的规划和判断。

实验阶段

1. 实验设计，明确研究问题、研究目标和研究方法

2. 数据收集、整理与分析，确保数据的质量和完整性

3. 实验代码实现与模型训练

4. 实验微调与结果统计、呈现

成稿（让写作professional）阶段

因语言问题，科研协作经验缺乏，大多数的同学会因为用词和表达不够professional而被误解，导致论文改稿和评分低。

1. 论文写作方法指导，论文写作框架与格式

2. 参考文献筛选与列举

3. 期刊会议筛选与投稿建议指导

4. 论文文字部分的修改与润色

5. 论文中所必要的表格与图片制作

粉丝福利：1v1论文指导-选题阶段-学习规划部分（先meeting后付款），具体活动可扫码咨询助教👇

1对1全程论文指导

全程论文指导的服务适合以下需求的同学

• 非常适合科研小白：有科研需求，想融会贯通地使用算法模型，了解前沿进展和方向；

• 非常适合转专业和研究领域做敲门砖用：从事人工智能领域工作，想系统提升算法理论，高效掌握算法设计及创新思路，快速了解论文撰写技能；

课程收获

• 学习经典前沿论文，掌握算法原理和实现，了解不同算法的优劣势；

• 指定领域创新点；

• Coding能力增强；

• 论文写作方法以及投稿建议。

科研进度保障

• 主讲导师：顶会审稿人，负责经典论文+前沿论文讲解+idea给予/方向建议+写作方法+投稿建议

• 私人群：每个同学都有与主讲导师私人讨论的小群（idea探讨以及课程内容答疑）；

• 全程线上语音meeting+开麦沟通。

指导周期与价格表

总指导周期=核心指导期+维护期

• 根据需要发表论文的区位不同，指导总周期在3到18个月不等。

• 核心指导期是正常的上课指导周期，维护期是学员已经写出论文投出去后，可能会收到审稿意见要求修改或者退稿的情况（主讲导师会给同学进一步的修改建议，必要的话会约会议沟通，最多6次meeting）。

• 在核心指导期，一般是每周1次1对1会议指导课，每次在45分钟左右。

粉丝福利：1v1论文指导选题阶段-学习规划部分（先meeting后付款），具体活动可扫码咨询助教👇

导师介绍

研梦非凡的导师来自海外QStop80、国内华五、C9、985高校的教授/博士导师/博士后，世界500强公司算法工程师，国内外知名人工智能实验室研究员。（以下仅展示部分导师）导师均来自科研一线，购买联系助教后，可根据学员需求匹配导师库导师～～

李导师

海外QS30大学博士后，曾在多家研究院企业担任算法研究员。只接顶会、一区、二区意向学员

个人成就：

在顶级国际会议及期刊Environment of remote sensing,AAAI,ECCV,WACV等发表论文20余篇。专利著作7部。担任CVPR,ICCV,ECCV,ACM-MM,AAAI,NIPS等审稿人。

研究/辅导方向：

计算机视觉,机器学习,多模态学习。3D视觉（3D点云和图像表示学习、3D点云和2D图像的无监督和半监督学习、人体姿态估计、重建）；人脸分析（人脸关键点、重建、人脸跟踪）；模型压缩 (知识蒸馏、模型搜索量化剪枝)；通用视觉模型与应用(VIT、目标检测、语义分割)；AI基础理论(AutoML、数据增广、无监督/半监督/长尾/噪声/联邦学习)；AIGC生成模型高效训练和优化(扩散模型蒸馏、图文生成、3D生成等)；多模态学习（图像、3D点云和语言的多模型学习、vision-language、医学图像）；压缩感知的稀疏编码方法。

Mike导师

浙大博士，现任互联网大厂算法研究员，从事包括自动驾驶多模态感知系统，监控视频理解系统等项目。

个人成就：

在中科院一区二区等国际期刊发表论文近15篇，并担任cvpr，iccv, eccv, nips, icml, iclr等审稿人。

研究/辅导方向：

目前主要方向为深度学习视觉方向，生成模型方向（如GAN网络，diffusion，文生图等），视觉理解方向（如目标检测，分割，对比学习，模型结构设计等），多模态理解方向（如视觉和语言，声音等），3D点云，医疗图像领域，模型结构设计和计算机视觉在医疗上的应用等。

辅导亮点：

指导多名本硕学生撰写SCI 1区-4区学术论文，多名学生进入顶尖985高校、211高校双一流学科继续深造。

Bob导师

本硕博985

个人成就：

在TPAMI、TIP、CVPR、ICCV、ECCV等高水平期刊和会议上发表论文40余篇，其中CCF-A类论文20余篇,一作CCF-A类论文10余篇。

研究/辅导方向：

主要研究方向为图像复原、图像增强、神经网络轻量化、点云语义理解等。

辅导亮点：

先后指导硕士博士20余人,多名学生硕博期间发表CCF-A和CCF-B，SCI一区和SCI二区。

Wills导师

985高校通信与信息PHD

个人成就：

曾在某知名lab任研究员，多个SCI国际会议审稿人，IEEE Acecess审稿人。

研究/辅导方向：

机器人slam、无线感知、多模态融合、计算机视觉、大数据、云/雾计算、通信类、机械类。

辅导亮点：

曾辅导过数位硕士博士的毕论与本科生保研加分，对论文创新点挖掘具有丰富经验，目前已经发表数十篇SCI高水平论文。参与申请与开展国家级别课题数项（其中部分项目是实际负责人）。

李导师

BAT大厂算法专家

个人成就：

ACM multimedia oral论文一作。曾带队做过图像风格转换、图像/视频增强、人脸修复、图像/视频质量评价和自动驾驶感知数据合成等项目,对生成式模型有着丰富的实践经验。

研究/辅导方向：

主要研究方向为图像视频增强、多模态内容理解与数据合成，自动驾驶感知数据合成。

辅导亮点：

经验丰富，实力过硬，帮助50多名学员完成1v1定制化论文指导（实验阶段工作）

粉丝福利：1v1论文指导-选题阶段-导师学习规划部分（先meeting后付款），具体活动可扫码咨询助教👇