深圳季连AIgraphX-CSDN博客

原创 51-22 Deformable DETR: Deformable Transformers for End-to-End Object Detection 论文精读

最近提出的DETR在展示良好性能的同时，消除了对许多手工设计的物体检测组件的需要。然而，由于Transformer注意力模块在处理图像特征映射时的局限性，它的收敛速度慢，特征空间分辨率有限。为了缓解这些问题，我们提出了可变形的DETR，其注意力模块只关注参考周围的一小部分关键采样点。可变形的DETR可以比DETR获得更好的性能(特别是在小物体上)，训练次数减少10倍。在COCO基准上的大量实验证明了我们的方法的有效性。

2024-02-21 08:51:35 936

原创 51-23 BEVDet4D: Exploit Temporal Cues in Multi-camera 3D Object Detection 论文精读

单帧数据包含有限信息，这限制了现有基于视觉的多摄像头 3D 对象检测范式的性能。BEVDet4D 在BEVDet基础上添加了少量的改动，以最大限度地保持原有范式的优雅性，主要的目的是完成两帧BEV特征的融合。具体而言就是把前一帧的BEV特征根据自车的运动信息进行特征在世界坐标系中的对齐，融合时使用的是最简单的特征Concat。这里其实是把真正的特征融合推理过程留给BEV Encoder来完成。

2024-02-21 08:50:29 1139

原创 51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿

自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。

2024-02-19 13:00:29 3144 2

原创 51 -25 OccNet：Scene as Occupancy 场景作为占用

本文介绍了一种将物体表示为 3D Occupancy的新方法，以描述三维场景，并用于自动驾驶中检测、语义分割和规划任务。

2024-02-06 13:14:10 1847 1

原创 51-24 BEVFormer、BEVFormer v2，Occupancy占用网络灵感源泉论文精读

BEVFormer 是一个纯视觉方案，通过空间和时间Deformable Attention，基本上奠定了当前自动驾驶纯视觉感知基本框架。

2024-02-03 08:48:57 1213

原创 51-21 LSS (Lift,Splat,Shoot) ，实现 BEV 感知的开山之作论文精读

本文提出了一种新的端到端体系结构，该体系结构直接从任意数量的摄像机中提取给定图像数据的场景BEV表示。其核心思想是将每个图像单独“lift”为每个相机的特征视锥体，然后将所有视锥体“splat”成栅格化BEV网格。模型不仅能够学习如何表示图像，而且还能够学习如何将来自所有相机的预测融合到场景单个表示中。

2024-01-30 17:58:34 1383

原创 51-18 视频理解串讲— MViTv2：Improved Multiscale Vision transformers for Classification and Detection 论文精读

在本文中，作者研究并试图将多尺度视觉transformer(MViTv2)作为图像、视频分类和目标检测的统一架构，结合了分解的相对位置嵌入和残差池化连接，提出了一个改进的MViT版本。

2024-01-30 17:56:25 1141

原创 51-17 视频理解串讲— MViT，Multiscale Vision Transformer 论文精读

通过将多尺度、层次性特征的开创性思想与transformer模型联系起来，提出了用于视频和图像识别的多尺度视觉transformer，MViT。它是建立在stage的核心概念之上，每个stage由多个具有特定时空分辨率和通道维度的Transformer block组成，其主要思想是逐步扩展信道容量，同时从输入到输出网络池化时空分辨率。

2024-01-27 12:25:41 1768

原创 51-15 视频理解串讲—TimeSformer (Is Space-Time Attention All You Need for Video Understanding) 论文精读

Facebook AI提出了一种称为TimeSformer视频理解的新架构，这个架构完全基于transformer，不使用卷积层。它通过分别对视频的时间和空间维度应用自注意力机制，能有效地捕捉动作的时空特征。

2024-01-24 19:05:09 1855

原创 51-16 FusionAD 用于自动驾驶预测与规划任务的多模态融合论文精读

FusionAD，基于BEV的多模态、多任务、端到端自动驾驶模型，专注于自动驾驶预测和规划任务，性能超越2023 CVPR最佳论文UniAD模型。

2024-01-23 13:20:00 1458

原创 51-14 Retentive Network，RetNet 多尺度保留机制序列建模论文精读

RetNet 提出了多尺度保留机制序列建模，该机制支持三种计算范式，即并行、循环和分块循环。RetNet有更好的全局注意力建模、高效的计算效率、对遮挡的鲁棒性、支持基于注意力的图像生成、与置信度相关的门控机制和多任务学习等特点，对不同视觉任务可以共享历史注意力记忆，可以同时进行分类、分割、检测等任务。RetNet在视觉领域应该有广阔的应用前景。

2024-01-17 16:48:12 1179

原创 51-13 多模态论文串讲—BEiTv3,Image as a Foreign Language:BEiT Pretraining for All Vision and Vision-Lan论文精读

BEIT-3的核心思想是将图像建模为一种语言，这样我们就可以对图像、文本以及图像-文本对进行统一的maskmodeling。Multi-way transformer模型可以有效地完成不同的视觉和视觉语言任务，使其成为通用建模的一个有效选择。同时，本文也对多模态大模型的发展作了一个简单的总结。

2024-01-13 23:18:33 1543

原创 51-12 多模态论文串讲—BLIP (Bootstrapping Language-Image Pre-training) 论文精读

BLIP，用Capfilter生成更多更好的数据，然后给别的模型做训练用。你可以拿这个数据去训练VLMo、训练CoCA和训练BEiT3模型，去训练各种各样的多模的模型，因为它的目的，就是生成更好的数据。BLIP是一个非常通用的工具。

2024-01-13 18:49:00 1313

原创 51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读

VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。

2024-01-13 14:28:15 1399

原创 51-10 多模态论文串讲—ALBEF,Align before Fuse: Vision and Language Representation Learning with Momentum论文精读

ALBEF 将多模态对比学习的思路引入到了多模态模型之中，实现了多模态对比学习和多模态融合学习的统一；学习同时提出了动量蒸馏，在一定程度上解决了大规模多模态数据的噪声问题，可以作为现阶段多模态任务的一个新BaseLine方案。

2024-01-12 18:20:05 834 1

原创 51-8 GPT，GPT2，GPT3 论文精读

GPT系列让大家发现大模型是可以大力出奇迹的。

2024-01-11 19:59:06 1803

原创 51-5 Transformer 论文精读

编码器、解码器、多头自注意力、自回归的概念没搞清楚的话，值得认真读很多遍，甚至可以当成多模态大模型基础课程学习。

2024-01-10 13:28:43 502

原创 51-6 Vision Transformer ，ViT 论文精读

ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。

2024-01-09 19:55:13 1409

原创 51-7 CLIP，Contrastive Language-Image Pre-training 论文精读

大规模数据，大规模模型CLIP，Contrastive Language-Image Pre-training是OpenAI在2021年2月发表的一篇文章，它是用文本作为监督信号来训练可迁移的视觉模型。在训练完成之后，作者将其应用在zero-shot分类任务中，同时还做了大量的实验，这些都表明CLIP在表征学习、鲁棒性、认知学习能力等方面具有很好的性能。

2024-01-08 19:58:17 533

原创 51-3 逐段精读、逐篇点评大模型论文系列—从入门到痴迷

大模型论文精读

2023-12-24 17:20:04 578

原创 51-1 多模态大模型的概念、核心技术以及评测

Foundation Models对智能体基本认知能力有巨大的推动作用，当然大模型资源消耗极大，需要进一步去解决。

2023-10-19 13:03:05 1283

原创 19-12 ACC自适应巡航控制系统测试与验证

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节主要讲ACC系统整车测试与验证。

2023-10-09 00:11:44 2330 1

原创 19-6 ACC对执行器性能详细要求

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节主要讲ACC对执行器性能详细要求。

2023-10-09 00:04:34 673

原创 19-7 ACC系统架构及自动驾驶系统开发流程

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节主讲ACC系统架构及开发流程。

2023-10-09 00:03:55 1190

原创 19-5 ACC 自适应巡航控制系统需求

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节主要讲ACC系统需求。

2023-10-04 18:51:25 562

原创 19-4 ACC系统需求大纲

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节重点讲解ACC系统需求大纲。

2023-10-04 11:21:18 473

原创 19-3 ACC 自适应巡航控制系统组成与工作原理

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。本节主要介绍ACC系统组成和工作原理。

2023-10-03 22:37:13 1822

原创 19-2 ACC GB/T 20608与ISO15622法规对比分析

本专题由深圳季连AIgraphX李博及团队出品，主要讲解ACC自适应巡航控制系统的开发与仿真测试。具体说来，包括ACC标准/法规分析、系统需求、系统架构、软件需求、软件架构、算法建模、验证场景分析、仿真实验搭建等内容。

2023-10-02 22:55:56 905

原创 11-13 AEB 之 VRU 自定义场景建模与仿真

本专题由深圳季连AIgraphX李博及团队出品，重点讲解AEB工作原理、系统/软件架构及需求、算法建模、CCRs/CCRb/CCRm 建模与仿真和VRU-AEB-B/P/M 建模与仿真。本节重点讲解AEB VRU自定义场景建模与仿真。

2023-09-30 16:32:10 816 4

原创 11-12 AEB 之 CCR 自定义场景建模与仿真

本专题由深圳季连AIgraphX李博及团队出品，重点讲解AEB工作原理、系统/软件架构及需求、算法建模、CCRs/CCRb/CCRm 建模与仿真和VRU-AEB-B/P/M 建模与仿真。本节重点讲解CCR建模与仿真定制。

2023-09-30 16:32:03 810

原创 11-11 AEB 算法建模

本专题由深圳季连李博及团队出品，重点讲解了 AEB 工作原理、系统/软件架构及需求、算法建模、CCRs/CCRb/CCRm 建模与仿真、VRU-AEB-B/P/M 建模与仿真。本节重点讲解AEB算法建模。

2023-09-29 19:15:10 1019

原创 11-10 前向碰撞预警 FCW 算法原理及系统设计

前向碰撞预警 FCW 算法原理及系统设计，本设计遵循 ISO 15623/22839-2013、GB_T 33577-2017、E-NCAP-2023 标准。

2023-07-07 23:05:57 5337

原创 11-9 AEB 产品软件功能架构详细设计

按照ASPICE规范的要求，需要聚焦系统需求、系统架构设计、软件需求及软件架构设计等4部分核心内容。本章是在11-8 AEB 产品软性需求的基础上，重点讲述产品软件功能架构详细设计。

2023-07-07 17:30:03 902

原创 11-8 AEB 产品软件需求

按照ASPICE规范的要求，需要聚焦系统需求、系统架构设计、软件需求及软件架构设计等4部分核心内容。本章是在11-7 AEB 产品系统架构的基础上，重点讲述软件需求部分。

2023-07-07 17:29:09 484

原创 11-7 AEB 产品系统架构的组成

按照ASPICE规范的要求，需要聚焦系统需求、系统架构设计、软件需求及软件架构设计等4部分核心内容。本章是在11-6 AEB 产品系统需求详细解析的基础上，重点讲述系统架构方面的内容。

2023-07-07 17:28:07 589

原创 11-6 AEB 产品系统需求详细解析

本专题旨在探讨如何利用仿真软件开发自动紧急制动系统 AEB，主要通过整理开发流程，实现从需求到验证的全流程掌握，为后续开发提供支持；同时，研究了如何在汽车自动驾驶仿真工具中开发自己的算法，并解决了从 ISO、E-CNAP、GB/T 以及交通法规等提炼出功能需求的问题，以快速实现原型模型的开发。本专题重点讲解了 AEB 的工作原理、系统/软件架构和需求、算法模型及实现、CCRs/CCRb/CCRm 建模与仿真、VRU-AEB-B/P/M 建模与仿真，同时还提供了测试用例，期待最终将 AEB 算法成功地产品化。

2023-06-13 23:58:41 1182 1

空空如也

空空如也