- 博客(166)
- 收藏
- 关注
RSS订阅原创 论文解读--CRN：Camera Radar Net for Accurate, Robust, Efficient 3D Perception
基于多视角图像和雷达点，模态特定的骨干网络在每个视角中提取特征。首先，借助雷达辅助视角变换（RVT）技术，将透视视角下的图像上下文特征通过雷达测量转化为鸟瞰图视角。随后，多模态特征聚合（MFA）自适应地融合图像与雷达特征图，生成语义丰富且空间准确的鸟瞰图表示。图4 在检测任务上训练的特征图可视化结果。雷达中，来自墙壁的杂波（黑色）或具有行向雷达截面（红色）的行人导致检测失败。我们的多模态融合方法通过融合生成了更可靠的BEV特征图。我们证明，融合雷达信息可显著提升仅使用摄像头的方法性能，且计算开销仅为微小。
2026-06-24 15:49:05
458
原创 论文解读--FastBEV++: Fast by Algorithm, Deployable by Design
纯视觉BEV感知是自动驾驶的主流技术方向之一：它将多摄像头采集的2D图像特征转换为统一的自车坐标系下3D BEV特征，成本远低于激光雷达方案，同时能为3D目标检测、运动预测、语义地图分割等下游自动驾驶任务提供语义丰富、空间统一的输入基础。
2026-06-24 14:08:40
353
原创 论文解读--Sparse4D v3: Advancing End-to-End 3D Detection and Tracking
3D检测和多目标跟踪（MOT）是自动驾驶感知系统的两个基础任务，前者输出当前帧物体3D bounding box，后者输出跨帧物体的关联ID与运动轨迹。图1：稀疏4D框架概览，该框架输入多视角视频，并输出所有帧的感知结果。
2026-06-15 09:38:32
394
原创 论文解读--Sparse4D v2: Recurrent Temporal Fusion with Sparse Model
Sparse4D v2通过结构、效率、训练优化三重改进，验证了稀疏感知算法可以同时兼顾高精度、高推理效率、端到端适配性，为自动驾驶多视图时序感知提供了新的基线方案。
2026-06-12 10:14:09
312
原创 论文解读--Sparse4D: Multi-view 3D Object Detection with Sparse Spatial-Temporal Fusion
多视角视觉3D感知是自动驾驶低成本落地的核心技术，相比激光雷达，摄像头可提供长距离视觉信息、支持视觉类要素识别，但从2D图像还原3D信息属于不适定问题（ill-posed）——缺少显式深度约束，导致多视角信息融合与3D检测难度高。
2026-06-11 20:05:23
515
原创 论文解读--RadarDistill：Boosting Radar-base Object Detection Performance via Knowledge Distillation
这篇论文提出了——面向雷达3D目标检测的跨模态知识蒸馏框架，核心目标是将激光雷达（LiDAR）的特征知识迁移到雷达模型中，解决雷达数据固有的稀疏、噪声大、分辨率低的问题。图1. 提出的RadarDistill方法示意图。我们的RadarDistill方法能够实现从LiDAR特征向雷达特征的知识迁移，从而提升用于鸟瞰图（BEV）目标检测的雷达特征质量。
2026-06-11 11:41:58
355
原创 论文解读--BEVFusion：Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Representation
它打破了将相机特征附加到LiDAR点云的传统做法，以仅1.5至2倍的计算成本，实现了至少1.3%更高的mAP和NDS。我们提出了一种高效的BEV池化方法（b），通过区间缩减和预计算的快速网格关联，使视图变换（c、d）的速度提升了约40倍。论文设计专用GPU内核，给每个BEV网格分配独立线程直接计算对应区间的特征和，消除跨输出依赖、避免中间结果写入DRAM，将特征聚合耗时从500ms降至2ms。图2：BEVFusion通过视图变换，高效地从多模态输入中提取特征，并将其转换为共享的鸟瞰视角（BEV）空间。
2026-06-05 19:19:15
430
原创 论文解读--BEV-radar：: bidirectional radar-camera fusion for 3D object detection
我们的BSF（双向空间融合）模块由多个依次连接的模块组成：首先，通过一个共享的双向交叉注意力机制实现两者之间的信息交互形式。双向融合比简单特征拼接提升4.2 mAP，加入卷积空间增强的BSF模块比基础双向融合进一步提升1.3 mAP，3个BSF堆叠达到最优性能，验证了核心模块的有效性。BEV视角可以统一不同传感器的坐标空间，避免前视图的几何畸变，更贴合自动驾驶下游路径规划、决策任务的需求，是多传感器融合的天然载体。在BEV可视化中，黄色表示预测框，蓝色表示真实框，而LiDAR点则以背景形式显示。
2026-06-05 17:30:30
460
原创 论文解读--BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View
自动驾驶的核心感知任务（3D目标检测、BEV语义分割）长期采用不同范式：多相机3D检测主流为图像视角方法（如FCOS3D、PGD），而BEV语义分割由BEV视角方法主导，无法复用计算资源，且图像视角方法对目标位置、朝向、速度的感知精度有限。BEV空间与自动驾驶下游任务（路径规划、决策）的定义空间一致，更易精准感知目标的平移、尺度、朝向、运动速度等几何属性，且具备支撑多任务统一建模的潜力。2D检测的范式革新（如Mask R-CNN）带来了性能与可扩展性的突破，启发业界探索自动驾驶感知的统一高效范式。
2026-05-21 17:44:34
402
原创 论文解读--Fast-BEV：A Fast and Strong Bird‘s-Eye View Perception Baseline
这是自动驾驶领域BEV（鸟瞰视角）感知方向的论文，核心目标是设计兼顾高性能、推理速度快、车端部署友好的纯相机BEV感知框架，整体内容可以分为。
2026-05-21 13:50:29
372
原创 论文解读--SparseBEV: High-Performance Sparse 3D Object Detection from Multi-Camera Videos
查询最初被初始化为 BEV 空间中的稀疏柱体集合。区别于传统方法使用3D参考点作为query初始化，SparseBEV采用BEV空间的柱体作为query初始形式：每个query包含位置(x,y,z)、尺寸(w,l,h)、旋转θ、速度[vx,vy]及对应的D维特征，z初始化为0、h初始化为4m，引入了更合理的空间先验，相比参考点可带来0.5NDS的性能提升。要缩小稀疏方法与稠密方法的性能差距，需要同时提升检测器在BEV空间的多尺度特征聚合能力，以及在图像空间对不同大小、类别物体的自适应采样与解码能力。
2026-05-19 11:16:05
453
原创 论文解读--RaCFormer: Towards High-Quality 3D Object Detection via Query-based Radar-Camera Fusion
本文围绕3D目标检测任务，提出了——一种基于查询的雷达-相机融合Transformer框架，突破了传统BEV融合的性能瓶颈。图1 RaCFormer 的动机。(a) 以往的方法通常通过拼接或交叉注意力的方式将来自图像视角转换和雷达点云编码的 BEV 特征进行融合。(b) 相比之下，RaCFormer 采用基于查询的融合框架，同时采样雷达增强的图像视角特征、摄像机变换后的 BEV 特征以及雷达编码的 BEV 特征。
2026-05-19 10:34:55
635
原创 用AI写天线阵列排布算法
这个项目使用粒子群优化算法(PSO)来优化77GHz MIMO天线阵列的布局。优化目标是在给定的物理约束下，使阵列的辐射方向图具有4°的半功率波束宽度(HPBW)和尽可能低的副瓣电平(SLL)。
2026-03-20 16:50:28
117
原创 CRN源码详细解析（4）-- 图像骨干网络之DepthNet和ViewAggregation
【代码】CRN源码详细解析（4）-- 图像骨干网络之DepthNet。
2026-01-23 15:36:31
182
原创 CRN源码详细解析（3）-- 图像骨干网络之SECONDFPN
在rvt_lss_fpn.py中会初始化颈部网络SECONDFPN，直接添加调试代码，可以参看模型结构和参数等。这个原版的模型仍有一点小区别，即最后没有把输出合并，因此再稍微修改一下代码即可得到一致的结果。运行后可以看到输出网络结果、参数量、模型框架等和原来完全一致。http://CRN源码详细解析（2）-- 图像骨干网络之Resnet18。
2026-01-23 11:32:14
326
原创 CRN源码详细解析（2）-- 图像骨干网络之Resnet18
进入RVTLSSFPN模块，跳转到rvt_lss_fpn.py文件，可以看到RVTLSSFPN继承了BaseLSSFPN，图像骨干网络的resnet18，代码中为self.img_backbone是在BaseLSSFPN中初始化，RVTLSSFPN初始化时直接继承使用，因此我们进入bass_lss_fpn.py查看。模型在camera_radar_net_det.py文件中定义，入口在CRN_r18_256*704_128*128_4key.py中，模型类的最后几行代码。
2026-01-22 20:43:28
712
原创 CRN源码详细解析（1）-- 框架
CRN是一个专为自动驾驶3D感知设计的深度学习模型，它创新性地融合了相机和雷达数据，直接在鸟瞰图（BEV）空间生成特征，以实现精确、鲁棒且高效的感知能力。
2026-01-22 19:50:35
125
原创 论文解读--Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion
雷达在自动驾驶中因低成本和抗恶劣天气优势广泛应用，但传统点云存在稀疏性、信息丢失问题。提出EchoFusion方法：跳过传统雷达信号处理 pipeline，直接融合雷达原始数据与其他传感器（如相机）。核心思路：生成鸟瞰图（BEV）查询，提取雷达频谱特征与相机语义特征融合。实验结果：在RADIal数据集上超越现有方法，性能接近LiDAR。
2026-01-19 14:04:06
1039
原创 论文解读--FocalFormer3D : Focusing on Hard Instance for 3D Object Detection
3D物体检测是一项重要但具有挑战性的感知任务。近年来的先进3D物体检测器主要依赖于鸟瞰图（BEV）表示[1–3]，其中来自多种传感器的特征被聚合以在自车坐标空间中构建统一表示。关于基于BEV的3D检测，已有丰富且不断增长的研究文献，包括多模态融合[4–10]、第二阶段优化（表面点池化[3]、RoIPool[11–14]以及跨注意力模块[4, 15]）。尽管付出了巨大努力，但针对由遮挡物和杂乱背景引起的漏检或未检测对象的明确探索仍然有限。漏检在自动驾驶中尤其令人担忧，因为它会导致预测和规划系统中信息缺失。
2025-12-31 17:00:58
910
原创 深度学习环境安装与FastBEV/CRN模型验证
最近做雷达视觉前融合算法，在笔记本/服务器搭建深度学习环境，并运行模型验证，这里记录下过程和经验教训。
2025-11-06 19:50:09
849
原创 论文解读--RCBEVDet++：Toward High-accuracy Radar-Camera Fusion 3D Perception Network
为解决自动驾驶中雷达-相机多模态感知的模态差异与空间错位问题，本文提出RCBEVDet及升级版本RCBEVDet++。RCBEVDet基于相机3D目标检测模型，新增雷达特征提取器RadarBEVNet和跨注意力多层融合模块（CAMF）：RadarBEVNet通过双流雷达骨干（点基与Transformer基分支）及RCS感知BEV编码器，将稀疏雷达点编码为密集BEV特征；CAMF利用可变形注意力动态对齐雷达与相机BEV特征，并通过通道-空间融合层增强特征聚合。
2025-10-17 19:39:27
955
原创 论文解读--Low-Complexity High-Resolution Parameter Estimation for Automotive MIMO Radars
检测率方面，当SNRO高于30dB时，提出技术性能可达2D OS-CFAR水平，低于30dB时，在杂波存在下检测率略低；：用于在噪声中检测目标峰值，传统的如CA-CFAR和OS-CFAR，CA-CFAR在多目标场景易高估噪声，OS-CFAR更稳健，但现有CFAR及其改进版本存在小雷达截面目标检测丢失、高计算复杂度等问题。：在MIMO雷达中，CFAR通过评估噪声平均功率设置检测阈值，空间滤波可增强目标回波功率，提高CFAR检测率，但3D CFAR检测复杂度高于2D CFAR检测。虚线：2D OS-CFAR。
2025-05-30 19:25:43
1068
原创 论文解读--Self-Supervised Learning for Enhancing Angular Resolution in Automotive MIMO Radars
利用神经网络外推天线阵列响应，扩大天线孔径，分为设计阶段和操作阶段。
2025-05-21 17:55:32
995
1
原创 论文解读--4D High-Resolution Imagery of Point Clouds for Automotive mmWave Radar
总结提出的汽车MIMO雷达4D高分辨率点云图像生成算法，包括TDM - DDM - MIMO框架、速度模糊分辨率算法、CV - DCN超分辨率DOA估计算法及实验验证情况，提出未来需提高算法在实际应用中的泛化能力。：提出汽车4D雷达高分辨率点云图像生成新算法，包括设计TDM - DDM - MIMO框架、基于双PRF波形设计的速度模糊分辨率算法、基于单帧数据的CV - DCN超分辨率DOA估计算法，并通过实验验证算法有效性。：介绍TDM - MIMO方案原理、相位调制矩阵表示，分析其优缺点。
2025-05-21 10:36:22
1301
原创 论文解读--Efficient and Robust Automotive Radar Coherent Integration With Range Migration
此外， 在RMDFT的距离-多普勒谱中峰值中心位于正确目标距离 和多普勒频率（白色十字）处，而传统拉伸处理的主瓣峰 值在距离和多普勒频率上相对于正确目标存在偏移。在每次实验中，估计的距离为距离-多普勒谱峰值对应的距离。：给出仿真使用的雷达参数和场景，通过多图对比传统2D FFT拉伸处理、RMDFT和RFT的结果，包括距离FFT输出、距离 - 多普勒频谱、距离切片等，还给出距离估计均方误差（MSE）、多普勒MSE与SNR关系及接收者操作特征（ROC）曲线，表明RMDFT性能接近RFT且优于传统2D FFT。
2025-05-20 16:07:26
995
原创 利用新一代雷达传感器增强ADAS系统的检测和计算（TI文档）
AWR2E44P 和 AWR2944P 雷达传感器代表着 ADAS 雷达技术的一次飞跃，在检测距离、角度精度和计算能力方面可获得更高的性能。这些器件采用专有处理技术（包括先进的晶体管优化和先进的第二代 LoP 封装），能够经济实惠地满足汽车行业对更高精度和可靠性不断发展的需求。这些新型雷达传感器在硬件和软件方面与以前的型号兼容，提供了无缝的升级路径，从而降低 OEM 开发成本并加快产品上市速度。
2025-03-27 19:49:04
1544
原创 TI的Doppler-Azimuth架构（TI文档）
TI在AWR2944平台上推出新的算法架构，原先的处理方式是做完二维FFT后在RD图上做CFAR检测，然后提取各个通道数据做测角。Doppler-Azimuth架构则是做完二维FFT后，再做角度维FFT，生成Doppler-Azimuth频谱图，然后在该频谱图上做目标检测。这种处理方式的信号链如下图所示，整个处理链路由DSP、ARM和HWA协作完成。另外需要注意的是，由于TDM模式下测角需要先做速度补偿，因此这种架构只支持DDM模式。
2025-03-14 19:00:33
1541
2
原创 论文解读--4D mmWave Radar for Autonomous Driving Perception：A Comprehensive Survey
自动驾驶技术的快速发展推动了感知系统的不断创新，其中4D毫米波（mmWave）雷达是关键的传感设备之一。利用其全天候操作特性和在具有挑战性的环境中的强大感知能力，4D毫米波雷达在实现高度自动化驾驶方面发挥着至关重要的作用。本文系统总结了4D毫米波雷达在自动驾驶领域的最新进展和关键应用。首先，我们介绍了4D毫米波雷达的基本原理和技术特点，并深入探讨了其在距离、速度、角度和时间维度上的综合感知能力。随后，我们详细分析了4D毫米波雷达在复杂环境中与其他传感器相比的性能优势。
2024-07-13 16:17:40
3643
原创 论文解读--Coherent Automotive Radar Networks：The Next Generation of Radar-Based Imaging and Mapping
成像雷达是汽车和工业应用的关键感知技术。在高通道数系统方面已经取得了很大进展，例如，部署了12个发射通道和16个接收通道，采用级联单片微波集成电路解决方案。然而，在密集的城市驾驶场景中，完全自动驾驶需要更高的角分辨率来做出驾驶不足/行驶过度的决策，并精确预测物体的轨迹。这两个问题都可以通过增加天线尺寸和构建更大的雷达来解决。然而，可以放置在汽车前部的东西是有物理限制的，制造非常大的阵列是相当困难的。因此，相干汽车雷达网络是一种实现高空间分辨率并从单次测量中获得物体完整速度矢量的方法。
2024-07-12 11:16:04
2054
原创 毫米波雷达深度学习技术-2.1~2.2深度度量学习和成对方法
在代理方法中，通过评估训练样本与相应的类代表性代理向量之间的相似性来学习度量，在端到端方法中，将度量的学习集成到神经网络中，并直接输出分类结果。换句话说，只有一个类内距离，在每个三元组中表示，但有许多可能的类间距离，因为有许多不同的类，其中只表示许多可能性中的一种。锚点是实际的训练样本，正样本是同一类的另一个样本，负样本是来自任何其他类的样本。相似样本是同一类的样本，不同样本是不同类的样本。通过附加损失项，不仅可以确保正样本之间的类内距离小于到负样本的距离，而且可以确保类内距离小于任意类对之间的类间距离。
2024-07-01 16:54:32
1229
原创 毫米波雷达深度学习技术-1.7训练一个神经网络
4. RMSprop [47]：Adagrad 的一个问题是，在DNN中经过几次迭代后，学习速率变得非常小，从而导致死神经元问题，并导致这些神经元没有更新。在RMSprop 中，学习率是梯度的指数平均值，而不是像 Adagrad 中那样的梯度平方和的累积和。这称为CE损失，在二元分类的情况下，在输出端配置为sigmoid激活，而对于多类分类，在输出端使用 softmax 激活。然而，早期的方法具有固定的学习率。其背后的直觉是，对于不频繁的参数，应该进行较大的更新，而对于频繁的参数，应该进行较小的更新。
2024-07-01 16:49:37
1456
原创 AM273X毫米波演示
例如，如果 n = 2，B = 600 Mbps，空闲时间 = 7 us，斜坡结束时间 = 44 us，numAdcSamples = 512，numRxChannels = 4，则违反了 7650 >= 8448，因此此配置将不起作用。创建/启动，是一次性活动任务，其主要功能是初始化驱动程序 （<driver>_init）、MMWave 模块 （MMWave_init）、DPM 模块 （DPM_init）、打开 UART 和其他驱动程序 （SPI） ，并创建/启动以下任务（有关详细信息，请参阅用户指南。
2024-06-12 16:33:37
1210
1
原创 毫米波SDK使用2
测试生成器的详细信息可以在这些测试的doxygen文档中看到，位于mmwave_mcuplus_sdk_<ver>\ti\datapath\dpc \objectdetection\chain_type>\test\docs\doxygen\html\index.html，并且可以通过mmwave_mcuplus_sdk_<ver>/docs/mmwave_sdk_module_document .html轻松浏览。关于Board /EVM的天线配置，请参考<sdk_path>\ti\ Board文件夹。
2024-06-08 16:24:33
1459
原创 毫米波SDK使用1
DPC可以将最终的处理结果(点云，跟踪对象等)提供给同一核心的应用程序代码，然后该代码可以使用DPM发送结果API将结果发送给运行在其他核心上的应用程序。从下图中可以看出，应用程序只需要调用各种DPM API来控制处理链(在下面的梯形图中看到“蓝色”的函数调用)，并在报告回调中对这些API的结果做出反应。另外，提供的级联demo必须在级联的硬件板上运行，由于AM2732开发板是和AWR2243一起使用，只有单个射频芯片，无法运行cascade模式的demo，下图是TI论坛的解释，也可以参考4.6节的内容。
2024-06-08 11:10:12
1934
原创 毫米波雷达深度学习技术-1.6目标识别2
鉴别器试图最大化评论家损失D(x) - D(G(z))，其中D(x)是评论家对真实实例的输出，G(z)是给定z的生成器的输出。D(G(z))是评论家对假数据的输出。从概念上讲，在潜空间中学习分布的VAE架构使空间连续，这意味着潜空间中两个间隔较近的点比两个间隔较远的点产生更多相似的内容，并且是完整的，这意味着从潜空间中采样的任何点都会在VAE的解码器处产生有意义的输出。值得注意的是，与VAEs中使用的KL散度不同，JS散度是对称的，在两个分布不相交的情况下，无论两个分布如何，都会导致log(2)的最大值。
2024-06-07 17:49:14
1813
1
原创 毫米波雷达深度学习技术-1.6目标识别1
在CNN中，图像分类是通过结合不同的层进行的，即卷积层、池化层和具有交叉熵(CE)损失的密集层。其中i，f，o和c分别为输入门，忘记门，输出门和单元激活向量，它们的大小都与定义隐藏值的向量h相同。因此，随着时间的推移，通过RNN的梯度流很容易变为零，这意味着没有进一步的信息传播。LSTM使用门控的概念扩展带有记忆单元的RNN:门控是一种基于输入的组件乘法的机制，它定义了每个单独记忆单元的行为。步幅定义了移动的步长，例如，如果步幅是1，那么过滤器移动一个像素，如果步幅是2，那么它移动两个像素，以此类推。
2024-06-07 15:11:20
2572
转载 NP难问题求解综述（转载）
上世纪70年代开始,诞生了一种许多数学家及电子计算器学家所关心的大问题—NP难问题, “P=NP?”这个问题，作为理论计算机科学的核心问题，其声名早已经超越了这个领域。它是Clay研究所的七个百万美元大奖问题之一，在2006国际数学家大会上，它是某个1小时讲座的主题。[关键词]: NP难问题,NP完全问题，计算复杂性,多项式函数NP难问题，不确定性图灵机在P时间内能解决的问题,是世界七大数学难题之一。NP问题排在百万美元大奖的首位，足见他的显赫地位和无穷魅力。
2024-06-03 19:16:13
560
原创 毫米波雷达阵列天线设计综合1（MATLAB仿真）
综合来看，毫米波雷达使用阵列天线的目标是获得增益高、波束窄、旁瓣低的空间方向图，比较理想的天线辐射方向图如下图1-1所示，而图1-2所示的方向图则比较一般，因为出现较高的旁瓣和栅瓣。图2-1和2-2是32阵元等间距排布，但激励幅度（馈电）分布不同的仿真结果，可以看到，相比馈电均匀分布的情况，图2-1中的四种馈电分布形成的波束旁瓣均有明显的降低。因此，阵列天线设计的目标是通过空间布局、激励幅度、激励相位的优化设计，获得理想的辐射特性，包括阵列天线方向图、半功率波束宽度、增益和效率、旁瓣电平等。
2024-06-03 16:16:32
6604
9
原创 毫米波雷达深度学习方法和技术-概述
雷达已经从复杂的高端军事技术演变为相对简单的低端解决方案，渗透到工业、汽车和消费市场领域。这种快速发展是由硅的进步和使用深度学习算法来利用传感器数据的全部潜力所驱动的。雷达传感器的使用已经增长了许多倍，渗透到汽车、工业和消费市场，提供了大量的应用。深度学习的出现改变了许多领域，并在计算机视觉、自然语言处理、语音处理等领域产生了最先进的解决方案。然而，深度学习算法在雷达上的应用总体上仍处于起步阶段。本书试图介绍几个高级深度学习概念背后的理论概念，并强调这些技术如何使这些应用成为可能，否则这是不可能的。
2024-05-24 11:00:29
2119
2
RadarScenes数据集第一组数据
2024-04-16
天线阵列波束赋形基本原理和仿真
2024-02-05
Wheel extraction based on micro doppler distribution
2024-01-14
声源定位和校园防欺凌论文
2024-01-02
Modern Radar for Automotive Applications
2023-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人