- 博客(42)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 自动驾驶时空联合规划：MIND：Multi-modal Integrated Prediction and Decision-making with Adaptive Interaction
在密集且动态的交通环境中导航，对于自动驾驶系统来说是一项重大挑战。原因在于，交通参与者与自动驾驶车辆之间存在复[杂且隐式耦合的多模态交互。仅依靠分阶段的“先预测后决策”或者“先决策再预测”方法，往往无法获得真实有效的驾驶决策。目前行业内采用联合多代理运动预测模型，专注于预测多个可能的未来场景，这些方法采用深度神经网络来隐式捕捉代理之间固有的依赖关系和交互。当自车被集成到模型中时，网络能够预测自车的未来轨迹。尽管这些预测在一定程度上可以为自车的决策提供信息，但直接使用这些预测结果往往会导致不理想的性能。
2025-05-04 18:28:14
757
原创 自动驾驶时空联合规划：EPSILON: An Efficient Planning System for Automated Vehicles in Highly Interactive Env
论文提出了一种名为EPSILON的高效自动驾驶规划系统，用于在高度交互的环境中操作车辆。EPSILON是一个具备交互感知能力的高效规划系统，已经在仿真和真实世界密集城市交通中进行了广泛验证。系统采用分层结构，包括交互式行为规划层和基于优化的运动规划层。行为规划采用部分可观测马尔可夫决策过程（POMDP）进行建模，但比直接使用POMDP更高效，其关键在于对动作空间和观测空间的引导分支，将原问题分解成少量闭环策略评估问题。此外，提出了一种具有安全机制的新型驾驶员模型，以克服先验知识不完美带来的风险。
2025-04-29 16:06:21
948
原创 自动驾驶时空联合规划：MARC：Multipolicy and Risk-aware Contingency Planning for Autonomous Driving
在密集且动态的环境中生成既安全又不过于保守的行为，对于自动驾驶车辆是一项重大挑战。这是由于其他交通参与者行为的随机性，以及它们与自车之间的隐性交互带来的不确定性。为了解决这一问题，学术界提出了许多方法。A. 不确定环境下的决策制定在交互式决策方面，POMDP（部分可观测马尔可夫决策过程）被广泛用于对随机性环境下的规划任务建模。然而，POMDP 的高计算复杂度使其在现实场景中难以实时求解。为此，研究者提出了基于多策略（Multipolicy）的规划方法，用于裁剪决策空间并将问题分解为有限策略的评估任务。
2025-04-27 13:43:51
1143
原创 一段式端到端自动驾驶：VAD：Vectorized Scene Representation for Efficient Autonomous Driving
自动驾驶需要对周围环境进行全面理解，以实现可靠的轨迹规划。以往的方法依赖于密集的栅格化场景表示（如：占据图、语义地图）来进行规划，这种方式计算量大，且缺乏实例级的结构信息。本文提出了 VAD（Vectorized Autonomous Driving），一种端到端的向量化自动驾驶范式，将驾驶场景建模为完全向量化的表示方式。这一范式具有两大优势：一方面，VAD 利用向量化的动态目标运动信息与地图元素作为显式的实例级规划约束，从而有效提升了规划的安全性；
2025-04-21 15:39:01
860
原创 一段式端到端自动驾驶：UniAD：Planning-oriented Autonomous Driving
现代自动驾驶系统通常由一系列按顺序执行的模块任务构成，例如感知、预测和规划。为了完成多种任务并实现高级别的智能化，当前的方法要么为每个任务部署独立模型，要么采用带有多个任务头的多任务学习范式。然而，这些方法可能面临误差累积或任务协调不足的问题。因此，论文认为，一个理想的自动驾驶框架应围绕最终目标——即自车轨迹规划进行设计与优化。基于这一理念，重新审视了感知与预测中的关键组成部分，并对任务进行优先级排序，使它们都服务于规划。
2025-04-02 22:33:05
353
1
原创 端到端自动驾驶LLM：Driving with LLMs: Fusing Object-Level VectorModality for Explainable Autonomous Driving
大型语言模型（LLMs）在自动驾驶领域展现出在泛化能力和可解释性方面的巨大潜力。由于图像/视频等模态不利于结构化推理和语言对齐，论文将矢量化的数值模态（感知结果）与预训练LLM融合，构建LLM-Driver模型，从而提升对驾驶情境的理解能力。论文提出了一种将对象级矢量模态与大语言模型融合的新方法，用于构建解释性自动驾驶系统。设计了一个矢量 → LLM 输入接口，能够将结构化场景感知信息（车辆、行人、路线、自车等）编码为 LLM 可处理的语言语义 token。
2025-03-29 14:56:41
996
原创 端到端自动驾驶VLM模型：LMDrive: Closed-Loop End-to-End Driving with Large Language Models
一方面，目前自动驾驶领域取得了显著进展，但在遇到长尾场景或复杂城市路况时，当前的自动驾驶方法仍容易失效甚至导致严重事故。另一方面，大语言模型（LLMs）展现出了接近“通用人工智能”的推理能力。因此，利用大语言模型所具备的“人类知识”帮助自动驾驶应对长尾问题，提升端到端模型的可解释性，并与导航和驾驶员进行互动成为端到端自动驾驶研究的热点。论文提出 LMDrive —— 一个新颖的、语言引导的、端到端、闭环自动驾驶框架。
2025-03-28 13:50:01
1124
原创 端到端自动驾驶VLA模型：技术解析与模型设计
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
2025-03-26 15:09:47
1639
1
原创 两段式端到端自动驾驶：PLUTO: Pushing the Limit of Imitation Learning-based Planning for Autonomous Driving
自动驾驶系统的核心在于其运动规划器（motion planner）：该模块负责在复杂、多变的交通环境中，制定一条既安全又高效的驾驶轨迹。近年来，基于学习的运动规划器取得了显著进展，通过模仿人类轨迹端到端学习规划策略，在实验中表现出良好的性能。但基于模仿学习（Imitation Learning, IL）的方法在实际部署中仍面临泛化性差、安全性不足、可解释性弱等挑战。
2025-03-26 11:02:18
816
原创 视觉深度学习骨干网络（backbone）
Backbone 的发展经历了从 CNN 到 Transformer 的演变，目前在自动驾驶中应用的主流backbone包括VGG、resnet、vovnet、ViT和Swin Transformer等。神经网络的骨干网络是整个深度学习模型中最核心的特征提取模块，其设计和性能直接影响模型在各类任务表现，未来重点是高效计算（边缘部署、NAS搜索）、融合架构（CNN、Transformer等）、多模态融合（图像、语言、点云等）、高效学习（少样本、无监督、迁移学习等）。
2025-03-21 14:43:05
1088
原创 深度学习视觉BEV 3D目标检测算法综述
随着自动驾驶、机器人和智能交通的发展，基于视觉的 BEV（Bird’s Eye View，鸟瞰视角）3D 目标检测 成为一个重要的研究方向。相比于 LiDAR 方案，纯视觉 BEV 方法更具成本优势，并且在感知、检测和地图构建等方面有着巨大的应用潜力。尽管当前的 BEV 视觉方法取得了一定进展，但仍然面临诸多挑战。
2025-03-18 18:57:52
2115
原创 深度学习视觉2D检测算法综述
自从2012年深度学习再次应用，基于深度学习的视觉2D检测算法便得到了飞速的发展。2D检测算法到目前大致经历了3个阶段，第一个阶段是（2014-2017）两阶段目标检测算法、第二个阶段（2017-2020）单阶段目标检测算法、第三阶段（2020-2024）transformer目标检测算法。
2025-03-12 14:52:39
1765
原创 代码管理git详细使用教程及最佳实践路径
Git 是一个 分布式版本控制系统，用于跟踪代码变更、管理代码历史、并支持多人协作开发。它由 Linus Torvalds 在 2005 年为 Linux 内核开发而创建，现在已经成为软件开发的标准工具。概念含义仓库（Repository）Git 存储代码的地方，可本地（Local Repo）或远程（Remote Repo）工作区（Working Directory）开发者正在编辑的代码所在目录暂存区（Staging Area）git add 后，文件进入暂存区，等待提交。
2025-02-19 13:48:40
1971
原创 如何看待李飞飞团队50美元训练出s1推理模型？
基本思路可能是：基础模型采用的是阿里云通义千问Qwen2.5-32B-Instruct开源模型，蒸馏模型采用的是谷歌的AI推理模型Gemini 2.0 Flash Thinking Experimental，训练方法采用deepseek微调训练方法，最终补充1000条左右的标注数据。
2025-02-07 12:01:06
258
原创 pytorch深度学习模型推理和部署、pytorch&ONNX&tensorRT模型转换以及python和C++版本部署
在pytorch框架下，可以很方便进行深度学习模型的搭建、训练和保存。当模型训练完成后，如何进行模型部署和推理是本文的重点。接下来以resnet模型为例，讲解下述部署和推理方法，并对比不同方法下的推理时间和精度：1）采用pytorch进行推理（python环境）2）采用onnx进行推理（python环境）3）采用tensorrt进行推理（python环境）4）采用tensorrt进行推理（c++环境）5）采用torch2trt进行推理（python环境）
2025-01-22 15:28:57
986
原创 ubuntu系统文件查找、关键字搜索
top 是 Linux 中一个强大的实时监控工具，其显示的信息分为两部分：系统状态信息和进程列表。grep指令的基本语法：grep [选项] "关键字" [文件路径]ps 是 Linux 系统中用来显示当前运行进程的命令。查看正在运行的进程中包含。
2025-01-20 16:34:42
1563
原创 C++ coredump文件产生、原因分析、GDB调试以及代码优化
Core Dump 是指程序在运行时因异常终止而生成的一种文件，记录了程序崩溃时的内存状态、调用栈、寄存器值和变量信息。
2025-01-10 11:50:31
1168
原创 C++教程（三）：c++常用的配置文件类型
不同的配置文件格式在 C++ 项目中的应用各有优缺点，选择时应考虑以下因素：INI 文件：简单，适用于小型项目和配置需求较少的应用。JSON 文件：灵活，适用于需要复杂数据结构的项目。YAML 文件：简洁易读，适用于配置文件较多、易读性要求高的项目。XML 文件：功能强大，适用于需要复杂描述和自描述性的场景。TOML 文件：简洁且支持复杂数据，适合需要人类友好且功能强大的配置场景。二进制配置文件：适合高效、紧凑存储和传输需求的场景。
2024-09-28 14:52:02
2078
原创 自动驾驶规划算法（一）：A*算法原理和代码（c++与python）
A*算法（A-star algorithm）诞生于1968年，由彼得·哈特（Peter Hart）、尼尔森·尼尔森（Nils Nilsson）和伯特·拉波特（Bertram Raphael）三位计算机科学家提出。它的设计初衷是为了解决路径搜索问题，尤其是通过启发式函数的引导，使得算法能够高效地在图（graph）或网格（grid）结构中找到最优路径。A*算法是人工智能与路径搜索领域中最为经典的图搜索算法之一，因其在许多实际应用中的高效性和灵活性广泛受到关注。
2024-09-26 08:56:15
3035
原创 最优化理论与自动驾驶（二-补充）：求解算法（梯度下降法、牛顿法、高斯牛顿法以及LM法，C++代码）
在之前的章节里面我们展示了最优化理论的基础求解算法，包括高斯-牛顿法（Gauss-Newton Method）、梯度下降法（Gradient Descent Method）、牛顿法（Newton's Method）和勒文贝格-马夸尔特法（Levenberg-Marquardt Method, LM方法）法。在实际工程应用中，我们一般采用C++进行开发，所以本文补充了上述求解方法的C++代码。在实际应用中，我们既可以自己进行简单的求解，也可以采用第三方库进行求解。
2024-09-24 12:03:30
1208
原创 C++教程（五）：C++高手养成之代码规范，如何写出规范优雅的程序
C++代码规范旨在提高代码的可读性、可维护性和一致性，同时减少潜在的错误和代码异常。以下是一些常见的C++代码规范。
2024-09-22 22:24:17
977
原创 C++教程：标准模板库的方法和函数，让你的计算简洁而高效（附所有函数介绍和代码示例）
C++ 的 头文件中提供了非常丰富的通用算法，这些算法几乎覆盖了大部分的常见操作，如查找、排序、复制、修改等。掌握这些算法可以帮助你编写更加简洁、高效和可维护的代码，并且它们经过高度优化，通常比手写的等价代码更高效。
2024-09-21 09:28:34
1018
原创 python教程（三）：python高级数据结构大全（附代码）
Python 中的高级数据结构是基于标准数据结构的扩展，提供了更高效的操作和更复杂的功能。这些数据结构通常用于解决特定的编程问题或优化性能。下面是一些常见的高级数据结构及其应用。
2024-09-20 08:38:52
1196
原创 C++教程（二）：C++设计模式之工厂模式详细解析以及工厂模板类实现
在 C++ 中，工厂模式（Factory Pattern） 是一种创建型设计模式，它通过定义一个接口来创建对象，而不是直接实例化具体的类。这种模式的主要目的是将对象的创建过程封装起来，以便在不修改客户端代码的情况下轻松扩展新类型的对象。
2024-09-19 09:00:55
1320
原创 最优化理论与自动驾驶（十一）：基于iLQR的自动驾驶轨迹跟踪算法（c++和python版本）
之前的章节我们介绍过，iLQR（迭代线性二次调节器）是一种用于求解非线性系统最优控制最优控制最优控制和规划问题的算法。本章节介绍采用iLQR算法对设定的自动驾驶轨迹进行跟踪，与第十章节纯跟踪算法采用同样跟踪轨迹，同时，我们仅对控制量的上下边界进行约束，使用简单的投影法进行约束（更详细的约束参考第九章 CILQR约束条件下的ILQR求解）。其实，iLQR可以直接进行轨迹规划，主要做法是将障碍物或者边界约束通过增广拉格朗日法将原始问题的约束条件通过拉格朗日乘子和惩罚项结合到代价函数中。
2024-09-18 11:52:43
5165
2
原创 最优化理论与自动驾驶（十）：纯跟踪算法原理、公式及代码演示
纯跟踪算法（Pure Pursuit Algorithm）是一种用于路径跟踪的几何控制算法，广泛应用于自动驾驶、机器人导航等领域。其基本思想是通过选择预定路径上的目标点（预瞄点），并控制转向角，使车辆不断逼近并跟随该目标点，从而达到路径跟踪的效果。
2024-09-17 18:20:32
5162
1
原创 python教程（二）：python数据结构大全（附代码）
Python 中数据结构的重要性不言而喻，它们是构建高效、可维护代码的基础。数据结构决定了如何存储、组织和操作数据。理解和使用合适的数据结构能够极大地提升程序的性能、简洁性以及代码的可读性。Python 的基础数据结构有 4 种，分别是 列表 (list)、元组 (tuple)、集合 (set) 和 字典 (dictionary)，它们都是 Python 内置的，并不需要额外导入模块。基础数据结构广泛用于存储和操作数据，支持常见的增删改查等操作。
2024-09-16 15:57:01
2973
原创 ros2教程（一）：使用python和C++发布摄像头原始图像和压缩图像
在ROS 2中，python可以通过使用rclpy库来发布压缩图像和原始图像，C++发布原始图像和压缩图像可以通过image_transport库来实现。
2024-09-15 22:49:29
2405
原创 C++教程（一）：超详细的C++矩阵操作和运算（附实例代码，与python对比）
在之前的章节中，我们详细介绍了python中numpy的矩阵操作。但在自动驾驶开发中，我们一般采用C++进行功能开发，因此C++矩阵运算就是自动驾驶开发工程师不可或缺的能力。在C++中没有直接进行矩阵操作的功能函数，需要采用数组或者vector等容器实现，或者引用第三方库，例如Eigen（一个高效的C++模板库，用于矩阵和向量的线性代数运算）、Armadillo（提供简洁语法和高效的矩阵操作，支持线性代数和统计学运算）、Boost uBLAS（Boost库中的矩阵运算模块）。
2024-09-14 11:51:04
9162
2
原创 Linux下vscode配置C++和python编译调试环境
Visual Studio Code (简称 VSCode) 是由微软开发的一款免费、开源、跨平台的代码编辑器。它支持 Windows、macOS 和 Linux 操作系统，并且内置对多种编程语言的支持，包括但不限于 C/C++、Python、JavaScript、TypeScript、Java 和 Go 等。VSCode 主要用于编写、调试和运行代码，并且提供了丰富的扩展支持。
2024-09-13 23:32:20
2341
原创 人工智能辅助汽车造型设计
随着科技的不断进步，人工智能（AI）在各个领域的应用越来越广泛，汽车设计行业也不例外。尤其在车辆外观造型设计中，AI正在成为设计师的重要助手，通过提供强大的工具和独特的创意方式，革新了传统设计流程。
2024-09-13 15:47:55
1641
原创 OpenAI重磅更新：发布目前最强推理模型ChatGPT-o1，新鲜测试出炉，草莓快要成熟了
总的来说，OpenAI 的o1-preview和o1-mini模型标志着人工智能推理能力的新阶段。无论是在科学、技术领域，还是在日常复杂任务中，o1 都展现了前所未有的强大性能。对于广大用户而言，o1 系列的推出意味着可以更直接地体验到先进 AI 技术带来的变革性力量。未来，OpenAI 能否凭借 o1 继续引领大模型领域的发展，甚至将人们向通用人工智能的梦想更进一步？让我们拭目以待。
2024-09-13 14:39:20
5977
原创 python教程（一）：超详细的numpy矩阵操作和运算（附实例代码）
在NumPy中，张量是指具有多维数据结构的数组，通常扩展自二维矩阵。张量可以是 1D（向量）、2D（矩阵）、3D（例如彩色图像的表示）甚至是更高维度的数组。NumPy提供了多种方法来操作和计算张量，广泛应用于机器学习、深度学习、科学计算等领域。在NumPy中，张量本质上就是多维数组，使用np.array()函数可以创建不同维度的张量。
2024-09-12 17:37:35
13921
原创 最优化理论与自动驾驶（一）：概述
最优化理论是数学与工程学中用于寻找最优解的分支，它研究如何在给定约束条件下最大化或最小化某个目标函数。其核心思想是通过分析变量的取值来找出最优的决策方案。最优化问题可以是线性的（线性规划）或非线性的（非线性规划），可以有约束（约束优化）或无约束（无约束优化）。在自动驾驶中，最优化理论主要解决路径规划、运动控制、感知与决策、鲁棒性优化等问题。
2024-09-11 20:46:55
2585
原创 最优化理论与自动驾驶（九）：CILQR约束条件下的ILQR求解
引入违反控制输入或状态约束的罚项，例如对于控制输入 uk\mathbf{u}_kuk 的上下限约束，可以定义一个惩罚项：其中是惩罚参数，用来调节约束的严格性。
2024-09-10 15:04:29
3281
原创 最优化理论与自动驾驶（六）：LQG和iLQG原理、公式及代码演示
在实际工程应用中，噪声是系统无法避免的因素，主要包括过程噪声和观测噪声。在自动控制、机器人、自主驾驶等领域，噪声的影响尤其显著。为了提高控制系统的鲁棒性和性能，像LQG和iLQG这样的算法被广泛应用。其主要思想是在LQR和ILQR的状态方程中增加高斯噪声，LQG 是结合LQR和卡尔曼滤波器减少噪声干扰，ILQG通过在Q-函数对状态的二阶导数中增加噪声的协方差矩阵来更新控制律，使得系统能够在噪声环境下得到更为鲁棒的控制方案。
2024-09-09 22:35:48
2088
1
原创 最优化理论与自动驾驶（八）：ILQR正则化和line search
（Line Search）是一种常见的技巧，用于在更新控制序列时进一步提高算法的数值稳定性和收敛性。在 iLQR 的反向传播阶段，通过局部线性化的系统模型和二次近似的目标函数来计算新的控制增量。然而，由于近似并不精确，直接应用所得到的控制更新可能会导致目标函数值的增加，尤其是当系统具有高度非线性时。线搜索的核心思想是在一条给定的方向上缩小步长，直到找到一个合适的步长，使得目标函数有所改善。收敛性： 适当的正则化能够提高 DDP 收敛的稳定性，但过大的正则化参数。，继续计算目标函数值，直到找到合适的步长。
2024-09-08 14:04:43
1562
原创 最优化理论与自动驾驶（五）：DDP原理、公式及代码演示
DDP的问题定义和ILQR是一致的，都是建立离散时间系统的状态方程和代价函数，目标是找到控制序列最小化成本函数。Q函数的定义为：将1. 对状态通过链式法则对2. 对控制输入的一阶导数4. 对控制的二阶导数5. 对状态和控制的混合二阶导数。
2024-09-08 08:27:59
2547
原创 最优化理论与自动驾驶（四）：iLQR原理、公式及代码演示
我们考虑一个离散时间的动态系统，其状态方程为：其中，是系统在时间步k的状态，是控制输入，描述系统的动态方程。我们的目标是找到控制序列其中，是阶段成本函数，是终端成本。由于LQR算法要求系统的状态方程为线性状态方程，成本函数为二次型，因此iLQR是通过牛顿高斯方法进行迭代逼近最优解。为了方便优化和递推，我们引入值函数，它表示从时刻k开始，给定当前状态，剩余时间内的最小代价。其定义如下：值函数依赖于当前状态，并反映了从当前状态到终端状态所需支付的最小累积代价。
2024-09-07 11:13:20
5796
5
原创 最优化理论与自动驾驶（三）：LQR原理、公式及代码演示
LQR 是基于线性系统和二次型代价函数的最优控制方法，在实际工程应用中，我们一般采用离散时间系统的LQR设计，其目标是通过设计反馈控制律，使系统在离散时间步长内稳定运行，最小化某个二次型代价函数。给定一个离散时间系统，其状态和控制输入通过以下方程表示：是时刻k的系统状态，是时刻k的控制输入，是状态转移矩阵，是输入矩阵。系统描述的物理意义：系统状态通过矩阵A演变到下一时刻，同时控制输入通过矩阵B影响系统的状态。
2024-09-06 17:29:57
3763
1
智能汽车关键技术产业化实施方案 .pdf
2020-03-13
汽车行业未来的5大人工智能应用.pdf
2020-03-13
人工智能：汽车产业创新新动力
2020-03-13
人工智能技术与数据科学在汽车产业中的应用
2020-03-12
节能与新能源汽车技术路线图--欧阳明高.pdf
2020-03-12
全球人工智能产业地图
2020-03-12
中国人工智能行业市场前景研究报告.pptx
2020-03-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人