小鹏理想华为等多家公司都推出端到端方案了,后面的岗位都会倾向于这个方向吗?...

当前,在行业龙头特斯拉的标杆作用、大模型代表的 AGI 技术范式、以及自动驾驶拟人化和安全性需求的共同推动下,自动驾驶行业对于端到端的关注度一路升温。理想汽车暴雨夜测试自家的端到端方案,并立下flag,年底或明年初交付真正的(L3以上)自动驾驶给用户。小鹏已经在5月份推出了自己的端到端大模型,预计明年也会实现类L4的功能,华为今年预计8-9月份也会推出自己的端到端ADS 3.0。这波大模型+端到端的技术洪流,将自动驾驶推上新的高度指日可待。

头部智驾企业已经用实际证明端到端有搞头。现在他们内部真正在研究端到端的还是少数,很多人还是忙着交付项目,但已经都开始有危机感了,传统的感知规控,将会逐渐成为低阶方案,也会慢慢被抽走资源。我们工程师能做的就是时刻准备着,多多涉猎一些方向,不打无准备之仗。也做好转型的准备,据说多家新势力开始将方案逐渐切换到端到端,也正在大力招人。

对于目前热门的几个方向,自动驾驶之心知识星球有非常多的讨论和资料整理,给大家分享一下。

86d43891c94811a6d00f8a7ff289b203.png

fe65e9ff71a9f4d40c19a2db8f05a2f7.png

2039b9ecf416a3724305b2382f227abe.png

自动驾驶技术的迭代将越来越快速和具有颠覆性,旧的一套框架在陷入瓶颈后,新的思路将会引领潮流,端到端就是目前大家都觉得靠谱的前沿方向。『自动驾驶之心知识星球』将端到端资料和讨论的内容也都进行了归类汇总,形成了学习路线图,方便大家及时补充最新技能。

4833c1770fa799fe189b53432915a5ab.png

d1d96d26cef4929d2cf270fbfc1e2e5d.png

讲到这里,不得不介绍下我们一直在维护的自动驾驶社区:自动驾驶之心知识星球,是目前国内最专业的自动驾驶技术交流平台,聚集了非常多的大牛和干货。

『自动驾驶之心知识星球』是国内首个最大的自动驾驶全栈技术交流社区,目前近3000人,汇集了行业几乎所有主流自动驾驶与AI类公司大佬。无论是技术交流抑或是求职都能轻松应对,解决工程和职场上的问题。

国内最大最专业的技术交流社区近30+自动驾驶技术栈学习路线
最实时的技术分享平台,精确到24小时国内最全的自动驾驶视频学习平台
自研自动驾驶面试一百问近100+自动驾驶公司,200+高校成员
当天完成所有问题的回答50+自动驾驶算法开发专家解答
最新职位内推,简历直达工作/求职互助,相互吐槽

如果您是:需要提升工作能力,希望和更多同领域的大佬交流;刚入门自动驾驶的小白,不知道怎么展开学习;正在春招/秋招/实习/跳槽准备的同学;其它行业转入到自动驾驶领域的同学;中层技术管理人员/产品经理等。欢迎加入自动驾驶之心知识星球,极低的成本获取极大的成长~

星球新人加入优惠券!微信扫码加入

f93dd6513625351b1e9965660213919d.png

自动驾驶行业的“黄埔军校”

自动驾驶之心知识星球,创办于2022年7月份,致力于打造为自动驾驶行业中的 ”黄埔军校“,聚集了近50+自动驾驶行业专家为大家答疑解惑。这是国内首个以自动驾驶技术栈为主线的交流学习社区,汇总了自动驾驶感知(目标检测、语义分割、车道线检测、BEV检测、Occupancy、在线地图、目标跟踪、多模态、多传感器融合等)、自动驾驶定位建图(高精地图、SLAM)、自动驾驶规划控制与预测、多传感器标定、端到端、自动驾驶仿真、自动驾驶开发、领域技术方案、AI模型部署落地等几乎所有子方向的学习路线!除此之外,还和数十家自动驾驶公司建立了1v1内推渠道,简历直达!这里可以自由提问交流,许多算法工程师和硕博日常活跃,解决问题!初衷是希望能够汇集行业大佬的智慧,在学习和就业上帮到大家!星球的每周活跃度都在国内前30,非常注重大家积极性的调度和讨论,欢迎加入一起成长!

星球内已经打磨出近30+的学习路线,涉及BEV感知、动态/静态障碍物检测、多传感器融合、多传感器标定、目标跟踪、模型部署与cuda加速、仿真等方向,沉淀了大量工程上的解决方案、学术上的优化思路!星球主要内容一览:

b8bbc6c6de3ae2c65b6eee9065550e88.jpeg

星球详细内容一览

9991b6c1a10ce8c9c169fcc70b0798fd.png

国内最前沿的视频分享

除了日常的文档、问答分享,星球内部会不定期邀请CVPR、ICCV、ECCV、NIPS、TPAMI等各类顶会顶刊作者以及国内外各大顶尖自动驾驶公司团队前来直播分享,就死磕两件事,如何量产和research研究方向,非常适合工业界和学术界的小伙伴!目前星球内已经积累了大量的视频干货,涉及近50个子方向!

视频直播内部每周1~2次,每年计划100场左右。

abcd9f3aa531609fee3ae71d4b9123fb.png

面试求职的自动驾驶一百问

星球内部针对常见的技术方案、问题难点展开了汇总,自研了国内首个自动驾驶一百问系列,大家可以实时查找学习!目前已经完成TensorRT模型部署与CUDA加速、毫米波雷达视觉融合、车道线检测、规划控制、BEV感知、轨迹预测、多传感器标定、Occupancy、NeRF、4D毫米波雷达、多模态3D感知等多个系列。部分内容一览:

b7d9cc9b0e824459e414282a299c22cf.png

4e77434952d1b6995d9bfde88607922f.png 36df03c8ec006c70cd3839527514d90f.png 334aa2825321946e6a867d0be5b0c97d.png 11648f1d227afef422aac6de21bbd143.png ece1827b8258704dc38027ace43c3336.png

星球每天的讨论有哪些?

自动驾驶之心知识星球的定位是直接面向工业界和量产,所以这里有很多工作上遇到的问题,比如如何处理视觉感知误检问题、如何轻量化BEVFusion和Occ模型、如何优化在线高精地图模型、如何使用TensorRT部署自己的模型;除此之外,我们做到了国内外自动驾驶工作的实时更新,最新工作3天内将会在星球内公布,一起讨论后半年甚至下一年的方向动态,一切为了实用。

ec211453a7b7b7f8875afdec1baea5fe.png

详细的问题讨论一览:

da0ca905091f1093ad5a57cc16e899a5.png

更为重磅的是,我们保证了当天必须解决大家的问题,星球的几个创始人都是行业的算法专家,基本cover住所有子方向,除此之外,更有50+的算法开发专家一起讨论,你踩过的坑我们前面都踩过。

e555b279f4b2989c73777ad668abf898.png

星球的嘉宾组成

自动驾驶之心同时面向学术界和工业界领域展开,所以为大家请来了很多行业知名的算法、系统专家、学术界大佬,日常和大家交流答疑!

bc95c65d5df36aba38bc4b73ea2f0009.png

星球成员的背景

星球成员主要来自地平线、蔚来、小鹏、理想汽车、AI Lab、商汤科技、旷视科技、百度、阿里、网易、Momenta、Intel、Nvidia、赢彻科技、图森未来、智加科技、AutoX、大疆、上汽、集度、斑马、华为等业界知名公司,以及苏黎世理工、卡耐基梅隆大学、普渡大学、东京大学、香港中文大学、香港科技大学、香港大学、清华大学、上海交大、复旦大学、浙江大学、中科大、南京大学、东南大学、同济大学、上海科技大学、哈工大等国内外知名高校;

15954a84a32cf90e0e35494f0ad48ab5.png

星球会员权益

  1. 免费获得50+专业嘉宾的答疑解惑(有问必答)

  2. 永久免费浏览、下载星球内容(目前近5000干货内容,每天更新)

  3. 所有自动驾驶之心的付费课程8折优惠(价值近2500元)

  4. 直播视频免费无限期回放(一年近100场)

  5. 星球积分榜前10名,获得丰富现金奖励

  6. 免费咨询求职招聘相关问题

  7. 加入专属VIP群,获得最新资讯

星球日常问答一览

日常交流最实际的工程、学术问题和求职择业相关!

47d2a6f7c0807f27eebde5fd0709943a.png 4e10345cfd08149645d39594a691b097.png 317feb9082ee99304c04d6ffd02b44aa.png

知识星球主要模块

CV图文教程:网络结构可视化、算法原理图解;

视频教程:星球内部技术分享视频完成了几十场技术直播分享,包括语义分割、毫米波雷达视觉融合、在线地图、BEV感知、Occupancy、多传感器标定、传感器部署、高精地图制作关键技术、规划控制、轨迹预测、自动驾驶行业与求职分析、自动标注与数据闭环、自动驾驶仿真等多个方向(星球内部观看)!以及优秀开源课程,涉及相机标定、伯克利深度学习与计算机视觉、百度优达学城、Apollo自动驾驶、Udacity自动驾驶、MIT自动驾驶、Carla自动驾驶仿真等系列视频课程;

b54a7dee8f34072e9148facefd4d209e.jpeg

日常paper分享:BEV感知、3D目标检测、多模态融合、语义分割、车道线、多任务学习、点云深度学习、多目标跟踪、传感器空间和时间同步、鱼眼感知与模型、轨迹预测、端到端、轨迹预测、高精地图、SLAM、规划控制、V2X、Occupancy network、NerF、Gaussian Splatting、测速测距、强化学习、VIT、轻量化等;

职位与面经分享:自动驾驶行业职位内推、面经分享、入门学习路线分享;

日常问答交流:和嘉宾星主交流领域学术工业最新进展,包括领域方案、工程实战问题、学术界前沿动态;

面向对象与群体

星球创建的初衷是为了给自动驾驶行业提供一个技术交流平台,包括需要入门的在校本科/硕士/博士生,以及想要转行或者进阶的算法工程人员;除此之外,我们还和许多公司建立了校招/社招内推,包括地平线、百度、蔚来汽车、理想汽车、小鹏、momenta、赢彻科技、AutoX、华为、集度、滴滴、Nvidia、高通、纵目科技、魔视智能、斑马汽车、博世、纽劢科技、寒武纪等!

如果您是自动驾驶和AI公司的创始人、高管、产品经理、运营人员或者数据/高精地图相关公司,也非常欢迎加入,资源的对接与引进也是我们一直在推动的!我们坚信自动驾驶能够改变人类未来出行,想要加入该行业推动社会进步的小伙伴们,星球内部准备了基础到进阶模块,算法讲解+代码实现,轻松搞定学习!

星球主要关注的方向

深度学习模型2D目标检测鱼眼感知任务
3D目标检测语义分割任务目标跟踪
车道线检测多传感器融合多传感器标定
BEV感知算法Occupancy模型毫米波雷达
视觉/激光/多模态SLAM在线高精地图轨迹预测任务
规划控制V2X协同感知端到端任务
强化学习大模型与自动驾驶测距测速
点云处理算法NeRF与Gaussian Splatting滤波类算法

0.自动驾驶顶会与公司

星球内部为大家汇总了CVPR、ECCV、IROS、RSS、TPAMI、IV、ICIP等自动驾驶领域顶会和顶刊,以及图森、智加、主线科技、集度、滴滴、纵目、元戎启行、momenta、蔚来小鹏理想等近80家公司介绍(可以内推!)

1. 计算机视觉相关数据集

数据集是AI任务的基石,然而大多数数据集都是国外机构开源,数据量较大,下载速度缓慢,这两个缺点导致很多研究人员在数据获取上为难,为此星球内部已经为大家准备了近30种计算机视觉和自动驾驶相关数据集,包括KITTI、Waymo Open Dataset、Lyft L5、COCO、Semantic3D、A2D2数据集、车道线数据集、车牌数据集、行人检测数据集、红绿灯检测数据集等,一键下载;

4f197716dcfd5e2a52c2c70817f4869c.png

2. 2D/3D标定工具与仿真

星球内部为大家汇总了2D检测、3D点云检测、语义分割、实例分割、3D点云分割、视频检测、交互标定、多传感器标定等工具,还有各类仿真框架,可以快速适配到自己项目中。

2159367b7fd62458501f77fdb830a47d.png

3. 基础学习资料

整理了从自动驾驶感知、跟踪、滤波专业算法技术,到深度学习数学基础和图像处理、经典计算机视觉算法、Opencv、Pytorch以及C++、Python、GPU和Cuda近50本pdf学习资料!

f25829a7496719df45a1eece1c0cb4d5.png

4.  Backbone与Transformer

主要关注常用的轻量化、高性能backbone,以及视觉transformer结构与优化;

a5ac69ae020d3fad5cf85e9879fe3833.png

5.  2D目标检测

关注anchor-based、anchor-free、one-stage、two-stage、超全YOLO系列、小目标检测、多任务模型、长尾分布、误检消除、难例挖掘、定位精度优化等内容;该模块汇总检测领域的经典综述和论文,从结构、数据增强策略、采样策略、不均衡问题、半监督、知识蒸馏上展开研究;

6bb4588f83440e2ec16e9781c4a59ca5.png

6.  分割任务

汇总了常见的2D语义分割、实例分割、全景分割以及3D点云分割SOTA算法,并对分割任务中的边缘轮廓分割模糊不细腻问题展开讨论;

55c4aad1a1e4a104314e88e8175a2992.png de4ed1805f53f23e4af79e59a734ad20.png

7.车道线检测

对基于检测、分割、分类、关键点、曲线预测、多传感器检测、3D车道线SOTA方法进行了汇总,对车道线遮挡、磨损、不连续问题展开了讨论!

1a6df29c7d8599c44aa0c862851ee803.png

8.BEV感知

针对视觉BEV感知中的LSS方案、无参方案、Cross Attention方案、轻量化BEV方案、预训练模型、单目BEV方案进行了汇总,也关注基于LV、RV的多模态方案,以及BEV下的多任务学习、Lidar-BEV方案、大语言视觉模型、部署与跟踪等等。

9ee63aef0ca8f3f6a67dbc554e310aad.png

9.Occupancy Networks

星球内部针对单目Occupancy方案、开集Occupancy方案、Occupancy预训练模型、Occupancy低成本方案、4D占用预测任务、全稀疏Occupancy任务、无3D监督Occupancy任务、NeRF+Occupancy任务、Occupancy与世界模型、自监督Occupancy任务等展开了讨论。

b062ab989ccdca1029286022a559be2f.png

10.鱼眼感知

针对鱼眼和全景相机在自动泊车、近域感知上的应用展开,主要包括相机标定、鱼眼全景相机系统、自动泊车系统、环视数据集、鱼眼深度估计、鱼眼目标检测、鱼眼SLAM、语义分割等方向!

f394480f314def3725b2f445ce7cf2b4.png 501e2063266b7ce8d50a64423bc50173.png 0beff360abdb088098c7f6b3f89a6fd4.png

11.目标跟踪

针对单目标和多目标跟踪,基于Siamese Network、Tracking-by-detection、传统滤波+关联算法、end2end等方法进行全面展开阐述,后续更会加入变速情况下的跟踪系统;

08ca8ccf390d6427b6d4c9f148e7a07a.png 8fd9beea48e6eeb36b9b0bdc74299ea2.png

12. 3D目标检测

从点云和多模态数据3D检测任务展开,基于BEV、点、体素、多camera数据的3D检测方案;

c55c8db08d3b80720e7db65f23d1a5ca.png d3b5b6a567f8d66ea3acbd9de21a1d95.png cb791dea97cf22d9298960480ed1d596.png 3361b92985647ba14bbe8f2d3abe3311.png 4b057d04493dd461bdefee0e1aeaa881.png bac5f1264eb2c7f26bddb8451854511f.png 652e945a7b4396eb5b1579c1d86e29ef.png 32a7a7efe57b01bdd79ad54ac2fdfd27.png b3bcd7b3358da84f810761489d1723f3.png

13.传感器标定

主要关注自动驾驶领域常见的Camera、Lidar、Radar、IMU之间的离线、在线标定,多相机、多激光雷达之间的标定,自动标定,传感器时间同步等;

ec1bbb8701b96754ed04131159692e25.png 3ca358b6a27ac5dc99964f4469a8b4e2.png 4cd687d0f880401eda085c16817eb4b0.png e938819b196a5fa7f9ec458b6653d851.png b0cb0a0ae4f56136928bb451728b6bc1.png

14.多传感器融合

星球内部汇总了数据级融合、目标级融合、特征级融合、端到端融合、弱融合、不对称融合等多种方案!

669ee4feb3b2375779dc1645f87c9aa3.png

15. SLAM与高精地图

汇总了单目SLAM、RGB-D SLAM、激光SLAM、毫米波SLAM、高精地图定位方法、自定位方法!以及领域内最常用的高精地图制作方法!

af7aebdcdba06aa00e0cca34b9aab63c.png 2464efa3872bdf1a0ba4d4bbe720a2d2.png

16.CUDA/模型部署/量化加速等

汇总了模型压缩、裁剪、量化、权值共享、模型加速、知识蒸馏、量化工具等数十篇干货介绍!以及TensorRT、NCNN、Opencv、MNN方案部署检测、分割、关键点、分类模型实战;

907210a102b365edd73541414fbaf838.png

17.轨迹预测

重点关注行人、车辆、基于机器学习、深度学习、强化学习、纯视觉、多模态方式的预测!

d3d4cd816a92f21eb09f2509c9158408.png 8473c6d884e270ae79b0e0a666b23465.png 2037d5ffbed848c37a156e6499b4b8b8.png 8673706cd8ebbcbabca7c98f769168e2.png 82973c83578db77fd6b4010472d2a2fc.png

18.规划控制

涵盖所有的规划控制方法,重点关注行车、泊车、机器人等应用领域!

97d93bf816a3e88bcf298e5a881be3ad.png ffb45f207cf4b8d375591f7f4303efc9.png

19. 大模型与自动驾驶

涵盖通用领域大模型和自动驾驶垂直行业大模型,经典算法与应用应有尽有!

b8b14f620a28b0fc4d7f3fe6bdc7fbe0.png

20. 端到端自动驾驶

涵盖端到端自动驾驶最新综述、基于可解释性的端到端自动驾驶方法汇总、基于模仿学习的端到端自动驾驶任务汇总、基于行为克隆的端到端自动驾驶任务汇总、基于强化学习的端到端自动驾驶任务汇总、基于多任务学习的端到端自动驾驶任务、基于知识蒸馏的端到端自动驾驶任务汇总!

21. NeRF与Gaussian Splatting

3b09407e32aca67c6cdb2ec2b26619e7.png

22. V2X车路协同

d8d2449e9e6b3ac1188e053a2cf18938.png

23. 强化学习

ba735a527654ee917845f4c576de12dc.png 85ad748dc935855d7fe44de71d3f0964.png

24. 其它

在感知定位融合之外,还汇总了测速测距、大量机器人/自动驾驶规划方法以及图像加速CUDA方法等~

b1dbe6f0310672f682b6fd9e79b2c678.png
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器视觉是一种利用计算机和数字图像处理技术对视觉信息进行分析、识别和理解的技术。目前,机器视觉已经广泛应用于各个领域,包括自动驾驶、工业自动化、医疗诊断、安防监控等。以下是对机器视觉应用的调研。 一、国内外现状 1. 自动驾驶 自动驾驶是机器视觉应用的一个重要领域。目前,国外的自动驾驶技术已经比较成熟,包括Google的Waymo、Tesla的Autopilot、Uber的自动驾驶车等。国内的自动驾驶也在快速发展,包括百度Apollo、蔚来汽车、小鹏汽车等。 参考文献: [1] Althoff M, Benz M, Doll K, et al. Safety First for Automated Driving[C]//Proceedings of the 2018 Design, Automation & Test in Europe Conference & Exhibition (DATE). IEEE, 2018: 1645-1650. [2] 蔚来汽车. 蔚来汽车发布自主研发L4级自动驾驶系统[N]. 2020. 2. 工业自动化 机器视觉在工业自动化领域也有广泛应用,包括自动化检测、自动化测量、自动化装配等。目前,国内的机器视觉在工业领域的应用逐渐增加,包括华为、海康威视、大华等公司。 参考文献: [3] 李庆芳, 胡凤波, 李娟, 等. 基于机器视觉技术的工业自动化检测系统研究[J]. 机械设计与制造, 2020, 05: 139-142. [4] 蒋钦, 陈泽彪, 李琳, 等. 基于机器视觉的自动化装配技术研究[J]. 机械工程学报, 2019, 55(14): 157-165. 3. 医疗诊断 机器视觉在医疗领域的应用主要包括医学影像分析和疾病诊断。目前,国内外的医疗机构都在积极推广机器视觉技术,包括美国Mayo Clinic、中国人民解放军总医院等。 参考文献: [5] 陶玥, 王东升, 李娜, 等. 基于机器学习的医学影像分析方法[J]. 计算机工程与应用, 2019, 55(16): 170-177. [6] 胡滨, 孙强, 刘天顺, 等. 基于深度学习的肺结节自动识别算法[J]. 中国医学影像技术, 2019, 35(7): 1053-1057. 4. 安防监控 机器视觉在安防监控领域的应用主要包括人脸识别、车牌识别等。目前,国内外的安防企业都在积极推广机器视觉技术,包括海康威视、中兴通讯、美国Hikvision等。 参考文献: [7] 陆慧珍, 陈巨猷, 张艳, 等. 基于深度学习的人脸识别技术研究[J]. 计算机应用与软件, 2018, 35(11): 21-25. [8] 刘志勇, 段晓梅, 刘晓峰, 等. 基于机器视觉技术的智能停车场车牌识别研究[J]. 计算机技术与发展, 2019, 29(5): 87-92. 二、发展趋势 1. 深度学习 随着深度学习技术的不断发展,机器视觉的应用也越来越广泛。深度学习技术可以通过大量的数据训练神经网络,从而实现更高的准确率和更快的速度。 参考文献: [9] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. nature, 2015, 521(7553): 436-444. 2. 云计算 云计算技术可以提供更大的计算能力和存储空间,从而支持更大规模的机器视觉应用。目前,Amazon、Microsoft等公司都在积极推广机器视觉云服务。 参考文献: [10] 张泽辉, 王建军, 刘思源, 等. 云计算环境下的机器视觉技术研究[J]. 计算机应用研究, 2019, 36(2): 457-461. 3. 物联网 物联网技术可以将多个设备和传感器连接起来,从而实现更高效的数据采集和交互。物联网技术可以与机器视觉技术相结合,实现更多的应用场景。 参考文献: [11] 张文, 马俊, 王磊, 等. 基于物联网和机器视觉的智慧城市安全监控系统研究[J]. 电子技术应用, 2018, 44(19): 123-127. 综上所述,机器视觉在各个领域都有广泛应用,并且发展前景十分广阔。未来,随着技术的不断创新和应用场景的不断扩大,机器视觉的应用将更加广泛和深入。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值