【AI】《Autonomous Vehicles Learning Notes》

已于 2024-07-17 14:56:31 修改
阅读量798 收藏
点赞数 1
文章标签： 自动驾驶
于 2023-06-25 15:15:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/131378177
版权

在这里插入图片描述

文章目录

未完待续。。。

1 自动驾驶简介

来自：浅谈自动驾驶技术与挑战

在这里插入图片描述
L0：主动刹车、盲点监测、车道偏离预警和车身稳定系统都属于 L0 级别的自动驾驶；

L1：如车道保持系统，定速巡航系统等应属于 L1 级别的自动驾驶

L2：可以同时自动进行加减速和转向的操作，也意味着自适应巡航功能和车道保持辅助系统可以同时工作；

L3：而目前公认的 L3 级自动驾驶入门门槛必须是带有激光雷达。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

国内车企自动驾驶目标一个比一个激进

在这里插入图片描述

在这里插入图片描述

2 感知

传感器

时代浪潮下的个体境遇：一位自动驾驶工程师的自述

在ADAS领域，毫米波雷达算是一位老兵了，业界已经有十分成熟的产品，成本低，可靠性高，但存在的问题是在城市工况下的误检和漏检很多。在激光雷达和图像衬托下，它显得有些多余了，

自动驾驶中的视觉方案都有哪些？一文尽览！

2D摄像头所得到的都是真实世界在透视视图（Perspective View）下的投影（世界坐标系到图像坐标系）。它并不知道这个障碍物距离车辆的距离，也不知道障碍物的实际三维形状和大小。

在这里插入图片描述

想要得到3D空间的信息，一个最直接的方法就是采用激光雷达（LiDAR）。

LiDAR 的学名叫做激光雷达,它是"光探测和测距"(Light detection and ranging)的简称（筋斗云与自动驾驶）。

LiDAR输出的3D点云可以直接用来获取障碍物的距离和大小（3D物体检测），以及场景的深度（3D语义分割）。

点云的优势在于距离和深度感知精确，而图像的优势在于语义信息更加丰富。

LiDAR也有其缺点，比如成本较高，车规级产品量产困难，受天气影响较大等等。因此，单纯基于摄像头的3D感知仍然是一个非常有意义和价值的研究方向。

  • 单目3D感知

    虽然可以利用先验知识和图像中的上下文信息，基于单目的3D感知的准确度并不能完全令人满意。尤其是当采用深度学习的策略时，算法的准确度非常依赖于数据集的大小和质量。对于数据集中没有出现过的场景，算法在深度估记和物体检测上都会有较大的偏差。

  • 双目3D感知

    双目视觉可以解决透视变换带来的歧义性，因此从理论上来说可以提高3D感知的准确度。但是双目系在硬件和软件上要求都比较高。硬件上来说需要两个精确配准的摄像头，而且需要保证在车辆运行过程中始终保持配准的正确性。软件上来说算法需要同时处理来自两个摄像头的数据， 计算复杂度较高，保证算法的实时性就更加困难。

学习来自 如何看待毫米波雷达和激光雷达之间的差别，哪个才是自动驾驶感知的最优选择？

早期的ADAS基本方案就是一个车头毫米波雷达+一个驾驶位挡风玻璃下的摄像头+车尾超声波雷达的配置。

这三种感知探测设备成本不高，技术成熟，而且可以实现L2级别的大多数功能，如自适应巡航，AEB，LKA，行人保护，交通标志识别，倒车辅助等。

（1）超声波雷达——倒车雷达传感器，擅长采集近距离数据

  • 频率越高，灵敏度越高，但水平与垂直方向的探测角度就越小，一般用40kHz的探头
  • 用户在低速泊车过程中的“滴滴”声即为雷达测距提示音
  • 车速较快时，误差较大

在这里插入图片描述

（2）毫米波雷达，擅长移动的物体，不擅长识别静态障碍物

  • 一般毫米波雷达装在车辆的车头正前方，保险杠的下方。得到汽车和其他物体之间的相对距离、相对速度、角度、运动方向等。
  • 主要用于汽车前向防撞、侧向防撞、后向防撞、自动巡航、汽车自动启停、盲点监测、行人检测、汽车自动驾驶。
  • 需要探测行人这种反射界面较小的物体的时候，毫米波雷达容易出现误报。
  • 分辨率低，无法清晰辨别较小的物体，且对金属极为敏感。（一个不规则小块金属可能识别成一个大表面积的大块金属。）——如果要更清楚辨别较小物体，就要把毫米波雷达的探测阈值设低，但毫米波雷达又对金属敏感度太高，调低阈值噪点增多，这样的结果就是会有越来越多“鬼影”的出现，会出现众多的虚报物体。

在这里插入图片描述

（3）激光雷达像鹰眼，可以看到远处小物体

  • 其工作原理是通过发射信号和反射信号的对比，构建出点云图，从而实现诸如目标距离、方位、速度、姿态、形状等信息的探测和识别。通常安装在车顶位置或车头前保位置
  • 抗电子干扰
  • 成本高，受天气影响比较大——由于是光束，会受到空气中微粒的影响，eg 反光场景会出现虚影、重影
  • 颜色、图案的识别能力很弱（如不能通过激光雷达识别道路交通牌子上面的内容）

在这里插入图片描述

在这里插入图片描述

毫米波雷达精度低，但是可以方便得到周围物体的相对速度和距离。摄像头可以获得平面图形，看懂交通标识和分辨颜色。激光雷达探测精度高，可以获得周围物体的三维图像。超声波雷达在短距离测距中有着极大的成本、能耗低的优势。

在这里插入图片描述

在这里插入图片描述

一文带你了解毫米波雷达

自动驾驶需要计算机视觉来理解和导航环境。计算机视觉的作用是：

检测车道线

检测其他物体——环境中的车辆、人类、动物

跟踪检测到的物体

预测他们可能的运动

在这里插入图片描述
因此我根据车道线的标准宽度估计了像素到米的转换

雷达去噪

在这里插入图片描述

多模态传感器融合

来自：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
前融合
在这里插入图片描述
深度融合
在这里插入图片描述
后融合（ensemble method）

在这里插入图片描述
非对称融合
在这里插入图片描述
基于弱融合的方法通常使用基于规则的方法来利用一种模态数据作为监督信号，以指导另一模态的交互
在这里插入图片描述

高精尖地图

在这里插入图片描述

浅聊一下自动驾驶去高精地图的趋势

因此很多人在高精地图上的自动驾驶与其说是自动驾驶汽车不如说更像是运行在虚拟铁轨上的自动驾驶火车。

不依赖高精地图的自动驾驶主要有三个难点：

  • 更强的感知能力
  • 要求更高的定位和地图使用
    GPS，IMU（Inertial Measurement Unit，惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器），轮速计便成了自动驾驶功能更需要倚重的传感——当你手中食材有限，仍旧要做出色香味俱全的佳肴，代表对烹饪技巧必须更加精益求精
  • 在不确定环境下进行的决策规划的能力

BEV

来自：展望未来 | AI大模型在自动驾驶的应用
在这里插入图片描述

高精度地图应用过程中无法做到实施更新、法规风险高、高成本的三大问题难以解决。

BEV (Bird’s eye view，鸟瞰图) 感知算法通过将不同视角的摄像头采集到的图片统一转换到上帝视角，相当于车辆实施生成活地图，补足了自动驾驶后续决策所需要的道路拓扑信息，因而可以实现去高精度地图化。

在这里插入图片描述

自动驾驶算法“重感知，轻地图”趋势明确。

ICRA 2022杰出论文：把自动驾驶2D图像转成鸟瞰图，模型识别准确率立增15%

在这里插入图片描述

在这里插入图片描述

Liao B, Chen S, Wang X, et al. Maptr: Structured modeling and learning for online vectorized hd map construction[J]. arXiv preprint arXiv:2208.14437, 2022.
在这里插入图片描述

华为&上交强强联合！BLOS-BEV：200米超远BEV感知是什么魔法？导航地图强势助力！

在这里插入图片描述

Wu H, Zhang Z, Lin S, et al. BLOS-BEV: Navigation Map Enhanced Lane Segmentation Network, Beyond Line of Sight[J]. arXiv preprint arXiv:2407.08526, 2024.

Standard-Definition (SD) navigation maps

在这里插入图片描述

Occupancy

在汽车领域中，特别是在自动驾驶领域，Occupancy 通常与车辆周围环境感知和决策制定相关。具体来说，Occupancy Network（占用网络）是一种深度学习方法，用于从多视图图像中生成车辆周围环境的三维占用网格。

Occupancy Network 的工作原理是将来自多个传感器的输入数据（如摄像头、激光雷达等）转换为一个三维特征空间，并基于这些数据生成一个三维占用网格。这个网格可以表示车辆周围环境中的障碍物、道路、其他车辆等信息，为自动驾驶系统提供重要的环境感知能力。

Occupancy Network 在自动驾驶系统中有多种应用，包括：

  • 障碍物检测：Occupancy Network 可以用于检测车辆周围的障碍物，如其他车辆、行人、骑自行车者等，帮助自动驾驶系统避免碰撞。

  • 路径规划：Occupancy Network 可以根据环境感知信息生成车辆的行驶路径，并避免障碍物，确保自动驾驶系统的安全行驶。

  • 车辆控制：Occupancy Network 还可以用于控制车辆的速度和方向，以确保自动驾驶系统按照规划路径行驶，并避免潜在的危险。

随着自动驾驶技术的不断发展，Occupancy Network 将在自动驾驶系统中发挥越来越重要的作用，提高系统的安全性、可靠性和智能化水平。

Corner Cases

如何在自动驾驶的视觉感知中检测极端情况？

《Corner Cases for Visual Perception in Automated Driving：Some Guidance on Detection Approaches》（arXiv-2021）

在这里插入图片描述
例子
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
翻译版本

在这里插入图片描述

3 End-to-end

传统自动驾驶涵盖

  • 探测（detection）；
  • 跟踪（tracking）；
  • 静态环境建图（mapping）
  • 高精地图定位；
  • 目标物轨迹预测
  • 本车轨迹规划；
  • 运动控制。

感知的结果足够正确（×）
规划控制获得的信息足够丰富（×）

模块化自动驾驶的弊端：信息的有损传递

端到端

Hu Y, Yang J, Chen L, et al. Planning-oriented autonomous driving[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 17853-17862.

CVPR 2023 Best Paper
在这里插入图片描述

FSD v12，首次端到端落地

在这里插入图片描述

4 Interesting Application

无头汽车

请添加图片描述
自动驾驶，无头汽车

红绿灯检测

V2X > 高精度地图 > 感知识别

“V2X” 意思是“VehicleTo Everything”，意为车与所有物体的连接。那么具体与那些东西相连呢？

  • V2I (Vehicle To Infrastructure) 意为车与基础设施之间的连接
  • V2N (Vehicle To Network)
  • V2V (Vehicle To Vehicle)
  • V2P (Vehicle To Pedestrian)

在这里插入图片描述

百度Apollo3.5的感知框架图
在这里插入图片描述

【附录】专业名词缩写

  • ABS - Anti-lock Braking System（防抱死制动系统）
  • ACC - Adaptive Cruise Control（自适应巡航控制系统）
  • ADAS，Advanced Driving Assistant System，高级驾驶辅助系统
  • AFS - Adaptive Front-lighting System（自适应前照明系统）
  • AMT - Automated Manual Transmission（电子自动变速箱/电控机械式自动变速器）
  • ASC - Active Stability Control（主动式稳定控制系统）
  • ASR - Acceleration Slip Regulation（加速防滑系统）
  • AWD - All-Wheel Drive（全时四轮驱动系统）
  • AYC - Active Yaw Control（主动偏航控制系统）
  • BAS - Brake Assist System（制动辅助系统）
  • CAS，Collision Avoidance System，防撞系统
  • DSC - Dynamic Stability Control（动态稳定控制系统）
  • EBA - Electronic Brake Assist（电子制动辅助系统）
  • EBD - Electronic Brakeforce Distribution（电子制动力分配系统）
  • EDS - Electronic Differential System（电子差速锁）
  • ESP - Electronic Stability Program（电子稳定程序系统）
  • LSD - Limited Slip Differential（限滑差速器）
  • MDC，Mobile Data Center，移动数据中心
    在这里插入图片描述
  • Multitronic - 多极子-无级自动变速器
  • NOA是Navigate on Autopilot的缩写，中文意思是自动辅助导航驾驶。旨在通过一系列传感器和计算机视觉技术，使车辆能够在某些道路和交通条件下自动进行转向、加速和制动。
    NOA功能依赖于特斯拉车辆上的自动驾驶硬件和软件，包括雷达、摄像头、超声波传感器以及强大的计算处理能力。当启用NOA时，车辆能够识别道路标记、交通信号以及周围的车辆和障碍物，并根据这些信息来自动调整行驶状态。
  • Quattro - 全时四轮驱动系统
  • TCS - Traction Control System（牵引力控制系统）
  • Tiptronic - 轻触子-自动变速器
  • VDC，Virtual Data Center，即虚拟化数据中心——执行机构
  • VSC - Vehicle Stability Control（车身稳定控制系统）
  • LAK，Lane Keeping Assist，车道保持辅助
bryant_meng
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
游戏ai人工智能_AI与游戏，第1部分：游戏如何推动了两门AI研究流派
weixin_26632369的博客
07-21 881
游戏ai人工智能 国际象棋和象征性AI (Chess and Symbolic AI) Today, AI based on deep learning and neural networks is taking the world by storm. However, many of the algorithms that guide our web searches and driving d...
基于人工智能的滚动轴承PHM方法综述
QKA_zkj的博客
08-24 5189
原文 A comprehensive review of artificial intelligence-based approaches for rolling element bearing PHM:shallow and deep learning https://link.springer.com/article/10.1007/s42791-019-0016-y#Sec14 原文是...
激光雷达相关技术
IT菜鸟
02-12 2024
三维点云直接提供了三维空间数据，而图像则需要通过透视几何来反推三维数据。Velodyne成立于1983年，是一家位于加州硅谷的技术公司。Velodyne最早以音响业务起家，随后业务拓展至激光雷达等领域。2016年Velodyne将核心业务激光雷达部门剥离，成立新公司Velodyne LiDAR。2016年8月Velodyne公司发布公告称，旗下激光雷达公司Velodyne LiDAR获得百度与福特公司1.5亿美元的共同投资，三方将围绕无人驾驶领域展开全方位合作。
ai人工智能让女神_让女孩进入人工智能管道
热门推荐
weixin_26632369的博客
08-26 8万+
ai人工智能让女神 缩小女孩的想象力差距 (Closing the Imagination Gap for Girls) The term artificial intelligence (AI) was coined 64 years ago at a scholarly conference. The AI field hasn’t remained the theoretical provi...
全球名校AI课程库（30）| MIT麻省理工 · 深度学习与无人驾驶课程『Deep Learning for Self-Driving Cars』
ShowMeAI研究中心
10-28 1万+
自动驾驶入门必修课。课程介绍了深度学习的相关知识，及其在自动驾驶领域的实践。领衔授课人Lex Fridman是非常优秀的学者和行业实践探索者。
自动驾驶合集6
whaosoft143ai的博客
12-23 973
其实很多ADAS企业都不太重视仿真的，重心都在回灌和道路测试，即使搭建了仿真工具链，在量产项目中的作用也很小，只是用来分析、复现问题/BUG。面向量产项目/功能开发的传感器数据&信号仿真、车辆运动学&动力学仿真、感知&规控联合仿真、数据孪生数据挖掘的仿真还是没有完全成熟的方案，迫切需要面向WorldSim的全栈联合仿真&模拟器。如果可以把芯片硬件仿真、软件算法仿真一起搞了，那就更完美了。whaosoft aiot http://143ai.com
自动驾驶中图像与点云融合的深度学习研究综述
qq_38608777的博客
11-02 4159
Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTA TION SYSTEMS 摘要 在过去的几年中，自动驾驶汽车得到了迅速的发展。然而，由于复杂和动态的驾驶环境，实现完全自主并不是一件轻而易举的事情。因此，自动驾驶汽车配备了一套不同的传感器，以确保强大，准确的环境感知。尤其是，摄像融合技术正在成为一个新兴的研究
KITTI数据集leaderboard上单目SLAM方法
GRF-Sunomikp31
07-05 635
KITTI数据集leaderboard上单目SLAM方法
[论文阅读] 有关联邦学习应用综述 A review of applications in federated learning
有关我的科研的足迹、算法竞赛的日子、生活记录。
11-27 2211
阅读笔记 A review of applications in federated learning 原文链接 因为最近在写一篇联邦学习应用方向的论文，所以阅读了本文章，作一些简要的笔记记录如下： 文章目录阅读笔记 A review of applications in federated learning一、本文介绍的联邦学习概述二、联邦学习的演变2.1 算法优化2.2 安全隐私风险安全 - 在联邦学习中的隐私保护技术三、联邦学习的应用移动设备上的应用工业生产应用医疗保健领域的应用四、美好的未来生活
Falcone Nonlinear Model Predictive Control for Autonomous Vehicles.rar.rar
05-19
而"Falcone Nonlinear Model Predictive Control for Autonomous Vehicles.rar"可能是详细的研究报告或软件代码，提供了更深入的技术细节和实现方法。 总的来说，Falcone的非线性模型预测控制在自动驾驶车辆中的...
Path Planning for Autonomous Vehicles in Unknown Semi-structured Environments
02-26
本文分2部分，第2-3节介绍free space下的路径规划，目标是规划出一条平滑且满足车辆non-holonomic约束的最短路径。第4节介绍semi-structured环境的路径规划。 free space的方法分为2部分，第1部分是采用启发式...
autonomous-learning-library:一个PyTorch库，用于构建深度强化学习代理
05-14
自主学习库：用于构建强化学习代理的PyTorch库autonomous-learning-library是用于PyTorch的面向对象的深度强化学习（DRL）库。 该库的目标是提供必要的组件，以快速构建和评估新颖的强化学习代理，并提供现代DRL算法...
Nonlinear Model Predictive Control for Autonomous Vehicles.pdf
01-26
Falcone的博士论文，主要介绍了自动驾驶车辆模型预测控制。学习过车辆自动驾驶控制方向的，都知道车辆模型预测控制是他在这个领域的开山之作。 很多资源是假的，这个是真的。
The DARPA Urban Challenge Autonomous Vehicles in City Traffic
06-27
5. 人工智能与机器学习：AI在自动驾驶中的应用包括模式识别、行为预测和自适应学习。通过机器学习，车辆可以不断优化其驾驶策略，以更好地适应不同路况和驾驶情境。 6. 安全性与法规：在DARPA城市挑战赛中，确保...
自动驾驶（八十八）---------通讯之SOMEIP
最新发布
zhouyy858
07-25 847
服务导向架构（SOA，Service-Oriented Architecture）是一种设计软件系统的方法，强调通过可重用的服务来实现系统的松散耦合。每个服务是独立的功能单元，可以被不同的应用程序使用。这些服务通过标准化的接口和协议进行通信和数据交换。松散耦合：服务之间是独立的，减少了组件之间的依赖性，便于系统的扩展和维护。可重用性：服务可以被多个应用程序重复使用，提高了代码的重用性和开发效率。
自动驾驶-机器人-slam-定位面经和面试知识系列02之高频面试题（01）
qq_42692305的博客
07-21 830
自动驾驶-机器人-slam-定位面经和面试知识系列02之高频面试题
自动驾驶汽车普及之路
weixin_46083783的博客
07-25 1031
全球范围内自动驾驶汽车的普及正在加速。英国最近通过了 自动驾驶汽车法案 以便在未来几年内实现全自动驾驶和部分自动驾驶汽车安全融入社会。更多自动驾驶汽车 目前，中国是世界上测试自动驾驶出租车最多的国家。而在美国，各大城市已将“自动驾驶出租车”纳入公共交通系统。游艇观光, Waymo 而且当然， 特斯拉 这些公司都已投入数十亿美元，以实现其宏伟目标：在全美乃至全世界范围内提供自动驾驶汽车和服务。目前，自动驾驶汽车技术的开发和实施已不再是“是否”或“何时”的问题，而只是“在多大程度上”的问题。
自动驾驶仿真算法优化cuda
qq_45191106的博客
07-25 422
**行为预测器类**：`BehaviorPredictor` 类加载预训练的深度学习模型，并定义了 `predict_behavior` 方法来预测车辆的行为。- **仿真循环**：在主循环中，获取车辆的当前状态作为观测数据，然后使用行为预测器预测下一个时刻的行为，并应用于车辆的控制。- **模型加载**：使用TensorFlow加载预训练的深度学习模型，确保模型已经在训练阶段通过真实数据进行了优化和验证。- **仿真模型优化**：优化车辆动力学模型、环境模型等，使仿真更加真实和准确。
Steering Angle Estimation Using Deep Learning for Autonomous Vehicles在哪里下载
04-05
我作为AI语言模型，无法提供下载链接，但是您可以在以下网站上查找相关资源： 1. GitHub：https://github.com/ 2. Kaggle：https://www.kaggle.com/ 3. Arxiv：https://arxiv.org/ 4. Google Scholar：https://scholar.google.com/ 5. ResearchGate：https://www.researchgate.net/ 6. IEEE Xplore：https://ieeexplore.ieee.org/ 7. ACM Digital Library：https://dl.acm.org/ 8. SpringerLink：https://link.springer.com/ 9. ScienceDirect：https://www.sciencedirect.com/ 10. Elsevier：https://www.elsevier.com/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值