特斯拉在去年AI DAY上,分享了他们在感知方面的一个重点技术:Occupancy Network (占据网络),自此引发业内外广泛的关注。研究机器人技术的同学肯定对occupancy grid不会陌生,occupancy表示空间中每个3D体素(voxel)是否被占据,可以是0/1二元表示,也可以是[0, 1]之间的一个概率值。
为什么占据网络对自动驾驶如此重要呢?很核心的一个原因是:车辆在行驶中,除了常见障碍物如车辆、行人,我们可以通过3D物体检测的方式来估计他们的位置和大小,还有更多长尾的障碍物也会对行驶产生重要影响。例如:
1.可变形的障碍物,如两节的挂车,不适合用3D bounding box来表示;
2.异形障碍物,如翻倒的车辆,3D姿态估计会失效;
3.不在已知类别中的障碍物,如路上的石子、垃圾等,无法进行分类。
因此希望能找到一种更好的表达来描述这些长尾障碍物,完整估计3D空间中每一个位置的占据情况(occupancy),甚至是语义(semantics)和运动情况(flow)。
特斯拉用下图的具体例子来展现Occupancy Network的强大。不同于3D的框,occupancy这种表征对物体没有过多的几何假设,因此可以建模任意形状的物体和任意形式的物体运动。图中展示了一个两节的公交车正在启动的场景,蓝色表示运动的体素,红色表示静止的体素,Occupancy Network精确地估计出了公交车的第一节已经开始运动,而第二节还处于静止状态。
这一工作的分享,激发了大家对自动驾驶感知算法方向的探讨,普遍认为占据网络是未来感知算法的终极解决方案 。通过稠密的空间体素占用确定自动驾驶车辆的感知结果,为预测和规划提供更加准确的条件。更加有利于特征时序融合、做到自动驾驶端到端的解决方案,最终实现L4,直至L5完全无人驾驶。
如何入门学习?
今年来,学术界和工业界都在视觉occupancy方面有了大量的工作,从纯视觉的方案到多传感器的方案、从前向预测到后向预测,再到最近提出的forward-backward联合方案。对于我们初学者,造成了极大的学习困难。一下子不知道如何下手,从哪开始。自动驾驶之心针对学习的痛点,自研了一整套Occupancy课程,本课程是国内外对于占据网络全面讲解的教程。
早鸟优惠仅限三天!扫码加入学习
在接下来的很长一段时间,我们会从自动驾驶从业者的角度,跟大家一起学习和分享占据网络的发展及其算法原理,同时我们也提供了代码实践内容。以通俗的语言从0到1讲解整个过程,并且尤其关注到算法原理本身,对比不同算法,详细分析其核心思想和各算法的优化点。更为特别的,在本课程中,我们会给出两个占据网络的复现和优化,让你快速复现,学以致用。尤其适合目前正在求职的朋友、对自动驾驶感知算法感兴趣的跨行就职者。
课程特色
• 由浅入深,通俗易懂:作者根据多年的自动驾驶经验,从占据网络的发展过程详细的阐述从2D检测到BEV 3D检测再到占据网络,讲清楚为什么前一方法不适用,各自方法有什么局限性。占据网络的神力又在哪里?由浅入深,一个问题一个问题解答;
• Occ算法全覆盖,高度提炼:涵盖当前几乎所有的占据网络算法,融会贯通,总结和提炼各自算法的核心思想,引出新的思考;
• 理论结合实战:项目实战和理论结合,实战课程的课后配套实战代码和操作文档,随学随练、快速掌握;
• 学完可达到1年感知算法工程师水平,并能占领感知最热点的方向;
课件代码一应俱全
细致的讲解,不光要有理论,代码及实践也一定要讲透彻!通过全套的视频讲解,帮你在脑海中搭建模型的基本框架,彻底搞懂每一个知识点,从而提高写代码的效率和速度。
讲师介绍
Charmve,在多家头部自动驾驶公司任职,主要关注BEV视觉感知、3D场景重建,具有多个自动驾驶量产项目经验。近年来,尤其关注在占据网络的研发上,根据个人所学所思和工作实践,跟大家一起分享这个主题内容。
课程学后收获
对占据网络有较为全面的认识,深入理解各种算法的核心思想和原理,尽可能做到融会贯通,结合实际工作,改善和提高系统感知能力;
对自动驾驶系统的感知算法会有较深入的理解,掌握感知算法的设计痛点和难点;
学完本课程,并理解本课程所讲解的内容,你将会是占据网络掌握的少数人!
提高从业竞争力,卷过同级身边人,同时也能够结识许多行业从业人员与学习合作伙伴!
适合人群
计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士;
CV与自动驾驶2D/3D感知相关算法工程人员;
对占据网络算法感兴趣的朋友,要是有实际需求会更好;
对计算机视觉有部分了解,具有一定的Python、Pytorch基础的小伙伴;
开课时间与学习方式
2023年9月10号开始学习之路,历经两个月,离线视频授课。主讲老师在微信学习群内答疑,对课程中的算法、代码、环境配置等问题一一解惑!
课程咨询与购买
早鸟优惠仅限三天!扫码加入学习
咨询小助理微信咨询:AIDriver004