只会算法?为什么模型部署是自动驾驶领域绕不开的技能?

随着特斯拉在AI Day上提出BEV概念,国内外以BEV 为技术栈的感知框架越来越受到大家的认可,这两年几乎离不开BEV这个关键词。站在上帝的视角,BEV非常适合自动驾驶任务,从最初的BEVDet检测方案,到后面BEVFormer、BEVFusion、MapTR、Occupancy等各个任务模型,几乎都以此为基线。

eba194c4f99148037f728197a192e31c.png

目前工业界的自动驾驶技术路线大多围绕三个主要任务展开:3D目标检测、车道线检测、非常规障碍物检测。

2e51b136994481b20953d350c7a951cb.png

3D目标检测任务是动态障碍物和部分静态障碍物的主要感知方法,行业主流的BEV路线有LSS方案和BEVFormer系列的Cross-Attention方案。其中LSS更适用于轻量级模型部署到中低端芯片上,而BEVFormer系列在orin这类主流大算力平台上更有优势。无论是行车任务还是泊车任务,各大自动驾驶公司基本都以BEV检测为主要路线。如何部署纯视觉BEV-OD方案?如何部署BEVFusion这类融合方案?如何解决量化掉点问题?不仅仅是小白难受,很多老鸟也EMO......

车道线检测任务在许多自动驾驶功能中起到非常重要的作用,自适应巡航(ACC)、车道保持辅助(LKA)、车道偏离预警(LDW)等功能是核心功能,还有更高阶的自动拨杆变道功能、城市NOA无图方案,它们都离不开车道线检测任务。如何判断自车和他车行驶状态?如何预警?如何自动规划车辆行驶路线等等,都需要车道线的感知结果,但车道线模型的优化、部署与后处理也极其麻烦。

7ad8d7a23f61d8edba7d31ae8a338099.gif

Occupancy Network的出现对解决长尾问题提出了一个很好的方案。像截断目标、形状不规则、未有清晰语义的目标(比如挂车、树木、垃圾、以及石子等),传统的3D检测无法解决全部。那么是否可以直接对环境建模,表达为占据栅格的形式呢?不过度区分语义、更关注是否占用,答案是肯定的。BEV模型和Occupancy有较多相似之处,BEV的特征生成范式几乎和Occ完全相同,时序方法也完全适用。Occupancy networks本身即具有voxel级别高精度的环境表示能力和function space的高效表示方法,这也是目前主流自动驾驶公司与主机厂争先落地的方案。解决3D检测留下的1%问题,完成动态静态障碍物感知的闭环。但Occupancy任务比较特殊,数据生成和部署都很让人头大。

无论是重感知,轻地图的路线,还是目前大家追捧的无图方案,都离不开BEV 技术中的障碍物检测/车道线检测与Occupancy三个技术模块,可以说这三个方向撑起了整个量产方案!如果您对这三个任务基础仍有疑惑,也欢迎拉到底部加入基础学习。

算法难!部署落地更难?

面向BEV感知的算法优化本身就不简单,如何将模型从0到1完整部署起来,不掉点能上车就更难上加难了。不仅仅是小白,也难倒了一大批有算法工程经验的老鸟。为了解决BEV模型落地与量化问题,自动驾驶之心联合业内专家推出了国内第一门面向自动驾驶模型部署的教程,死磕BEV检测、BEV车道线、Occupancy三项任务的模型部署与量化。

强烈建议做算法的同学,多备一门部署的技能,只靠torch和python闯天下的时代已经不复存在了。课程将直接面向2024年校招与社招,能够直接面向简历项目。

仅限前20名!早鸟优惠八八折

6c31e3894af0772482e4f635d1b939ce.png

微信扫码领取

课程以Pytorch、C++和TensorRT为主要开发语言,手把手教学。后期更有BEV跟踪任务、BEV自动标注任务的讲解,助力模型上车和量产开发,课程大纲如下:

a090e9f46ad7701481bb9e8fcc1cf553.png

这是自动驾驶之心首次将BEV感知的障碍物,车道线,Occupancy 三大方向统一在一个课程里面。

关于3D检测任务,将给大家讲述经典的BEV 障碍物网络的训练和部署,以及基于BEV 障碍物的跟踪方案;

关于车道线任务,将给大家讲述BEV 车道线相比于2D 车道线的优缺点,以及BEV 车道线网络的训练和部署;

关于Occupancy任务,将给大家带来面向量产的Occupancy的优化网络的训练和部署。

以及面对量产时,如何针对网络进行量化加速,如何通过自动化标注来解决大规模BEV 数据生成的问题。最后我们将带领大家一起设计出一个多任务BEV 网络。

主讲老师

小庄,某top自动驾驶公司资深算法工程师,主攻BEV视觉感知方向,发表多篇顶会论文,在ICCV/CVPR workshop 中取得多项冠军,在自动驾驶领域有丰富的科研和量产落地经验。

课程亮点

1)目前国内最系统/最全面的部署课程,面向量产级;

2)涵盖了自动驾驶的3大主流任务模型的部署,全栈的技术分享;

3)掌握目前大火的BEV跟踪方案,无论是单帧或是多帧都能轻松应对;

4)完整的Torch转ONNX,ONNX转TRT流程,举一反三;

5)学会解决BEV量化掉点问题,助力模型上车;

6)通过C++部署TRT模型,对常见的后处理与主流部署框架有着较深的理解;

7)各大自动驾驶公司都认可的部署方案,无论实习/校招/社招都具有很大优势;

8)良好的自动驾驶学习圈子,一起交流踩过的坑和面试遇到的题目;

早鸟优势

1)早鸟阶段与老师更充分地沟通交流;

2)刚入门的小白有更充足的缓冲期;

3)提前掌握岗位的就业情况,岗位招聘、业内薪资第一手资料;

面向人群

1)所有自动驾驶感知方向的本科/硕士/博士群体,面向简历的项目,助力面试;

2)所有自动驾驶领域的算法开发人员,希望能够应用到实际工作中的同学;

3)想要转到自动驾驶部署与开发的同学;

需要具备哪些基础?

1)一定的BEV感知算法基础,对检测、车道线、Occ任务有一定了解;

2)熟悉Pytorch和C++,有一定的开发基础;

3)一定的线性代数和矩阵论基础

4)对自动驾驶行业有着充分的自信与热情;

扫码咨询

早鸟优惠八八折!仅限前20

64eea38e6836a013ea0aa34a78c630cb.png

添加小助理领取量产资料!

06c73301df30814733a494f1e45e143e.jpeg

版权声明

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属,我们强烈谴责非法盗录行为,对违法行为将第一时间寄出律师函。也欢迎同学们监督举报,对热心监督举报的同学,我们将予以重报!

投诉微信:AIDriver004(备注:盗版举报)

基础课程学习

1. 国内首个BEV感知全栈系列学习教程

2. 国内首个面向量产级的车道线检测教程

3.国内首个面向工业级的Occupancy占用网络全栈教程

4. 首门面向量产级的自动驾驶C++编程课程

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自动驾驶汽车硬件系统概述.pdf 目前绝大多数自动驾驶研发车都是改装车辆,相关传感器加装到 车顶,改变车辆的动力学模型;改装车辆的刹车和转向系统,也缺乏 不同的工况和两冬一夏的测试。图中Uber研发用车是SUV车型自身 重心就较高,车顶加装的设备进一步造成重心上移,在避让转向的过 程中转向过急过度,发生碰撞时都会比原车更容易侧翻 硬件在环 司机在环 甚于模器仿真 基于车辆执行 基于实腭道 基于必要的硬件平台 软件在环 车辆在环 自动驾驶研发仿真测试流程 所以在自动驾驶中,安全是自动驾驶技术开发的第一天条。为了 降低和避免实际道路测试中的风险,在实际道路测试前要做好充分的 仿真、台架、封闭场地的测试验证。 软件在环( Software in loop),通过软件仿真来构建自动驾驶 所需的各类场景,复现真实世界道路交通环境,从而进行自动驾驶技 术的开发测试工作。软件在环效率取决于仿真软件可复现场景的程度。 对交通环境与场景的模拟,包括复杂交通场景、真实交通流、自然天 气(雨、雪、雾、夜晚、灯光等)各种交通参与者(汽车、摩托车、 自行车、行人等)。采用软件对交通场景、道路、以及传感器模拟仿 真可以给自动驾驶的环境感知提供卡富的输入可以对算法进行验证 和测试 硬件在环(Hard- ware in1oop),各种传感器类似人的眼睛和 耳朵,作为自动驾驶系统的感知部分,该部分的性能决定了自动驾驶 车辆能否适应复杂多变的交通环境。包括,摄像头、毫米波雷达、超 声波雷达、激光雷达。针对不同的传感器,硬件在环会根据不同的传 感器和环境因素来部署。 车辆在环( Vehicle in loop),车辆执行系统向传动系统发出 执行命令来控制车辆,在自动驾驶中取代了人类的手脚。自动驾驶系 统的执行控制优劣决定了车辆是否能够安仝舒适的行驶。车辆运行在 空旷的场地上,自动驾驶系统感知系统模拟的虚拟场景,自动驾驶系 统根据虚拟的场景发出控制指令,再通过传感器将车辆的实轨迹反 馈到虚拟环境中,实珌真车与虚拟环境的融合,从而进行车辆操控的 验证 司机在环( Driver in loop),基于实时仿真技术开发,结合驾 驶员的实际行为,可以实现对车辆和自动驾驶技术开发测试做出主观 的评价。可机在环,可以一方面获得司机的主观评价,另一方面可以 验证人机共驾驶的功能。 自动驾驶系统的硬件架构 就整体而言,汽车是个全社会化管理的产品,其固有的行业特点 是相对保守的。在人工智能的大潮下,面对造车新势力和消费者需求 变化的冲击,传统汽车行业渐进式的创新方法已经面临巨大的挑战。 急需改变传统的架构和方法不断创新。自动驾驶幣体的硬件架构不光 要考虑系统本身也要考虑人的因素 腰性 酒 司 全雪 快冒 计算单元 m 感知 决策 控制 自动驾驶的硬件架构 自动驾驶系统主要包含三个部分:感知、决策、控制。从整个 硬件的架构上也要充分考虑系统感知、决策、控制的功能要求。整 体设计和生产上要符合相关车规级标准,如IS026262、AECQ-100、 TS16949等相关认证和标准。目前L1、L2、ADAS系统的硬件架构体 系和供应链相对完善符合车规级要求。 感知层:依赖大量传感器的数据,分为车辆运动、环境感知、 驾驶员检测三大类。 车辆运动传感器:速度和角度传感器提供车辆线控系统的相关横 行和纵向信息。惯性导航+全球定位系统=组合导航,提供全姿态信息 参数和高精度定位信息。 环境感知传感器:负责环境感知的传感器类似于人的视觉和听觉, 如果没有环境感知传感器的支撑,将无法实现自动驾驶功能。主要依 靠激光雷达、摄像头、亳米波雷达的数据融合提供给计算单元进行算 法处理。w2X就是周围一切能与车辆发生关的事物进行通信,包括V2V 车辆通信技术、V2Ⅰ与基础设施如红绿灯的通信技术、V2P车辆与行 人的通信。 驾驶员监测传感器:基于摄像头的非接触式和基于生物电传感器 的接触式。通过方向盘和仪表台内集成的传感器,将驾驶员的面部细 节以及心脏、脑电等部位的数据进行收集,再根据这些部位数据变化, 判断驾驶员是否处于走神和疲劳驾驶状态。 计算单元部分:各类传感器采集的数据统一到计算单元处理,为 了保证自动驾驶的实时性要求,软件响应最大延迟必须在可接受的 围内,这对计算的要求非常高。目前主流的解决方案有基于GPU、FPGA ASIC等 车辆控制:自动驾驶需要用电信号控制车辆的转向、制动、油门 系统,其中涉及到车辆地盘的线控改装,目前在具备自适应巡航、紧 急制动、白动泊车功能的车上可以直接借用原车的系统,通过CAN总 线控制而不需要过度改装 警告系统:主要是通过声音、图像、振动提醒司机注意,通过HMI 的设计有效减少司机困倦、分心的行为。 、自动驾驶的传感器 光雷詁 围憬头 毫来述 组合导 自动驾驶的传感

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值