Blabala的博客

在3D检测种由于 Lidar 达和摄像头对不断变化的天气和照明条件很敏感，因此引入了成本低、探测距离长和多普勒效应信息的雷达系统。本文提出一种使用门控网络对提取到的特征进行融合，利用 Lidar 和 Radar 的互补信息进行3D物体检测的网络架构。这篇论文提出了一种对 Lidar 和 Radar 网络进行特征提取，通过门控网络自适应的融合不同模态的特征的 backbone。本文是自己对论文的理解，如有不同见解，欢迎讨论、指正。

伴随着 Transformer 在图像领域上的快速发展，基于 query 的 Transformer 在图像任务上具有巨大的潜力。本文提出了一种基于中心的 Transformer 网络。通过中心热力图来挑选候选的物体中心点，然后用这些候选中心点的特征信息来作为 Transformer 中的 query 来进一步增强物体的特征信息并预测边界框信息。同时为了进一步聚合多个帧的特征，设计了一种通过交叉注意力融合特征的方法。。

DETR3D是在DETR的基础上，从2D检测拓展到3D检测，利用相机的内外参，将3D点转换到图像坐标系下，获取对应的图像特征。同时，DETR3D还引用了Deformable DETR中的iterative bounding box refinement。DETR3D原理分析与代码解读DETR3D：将DETR用于3D目标检测任务。本文提出了 TransCAR，这是一种有效且鲁棒的基于 Transformer 的相机和雷达 3D 检测框架，可以学习雷达特征和视觉查询之间的软关联。

多模态融合在自动驾驶领域越来越受欢迎，但是针对劣质图像时（照明不良、传感器未校准）鲁棒性不好，由于通过相机标定矩阵建立的 Lidar 和像素的硬关联，很难解决这种问题。本文提出了 TransFusion，使用软关联机制来处理较差的图像条件。TransFusion使用一种软关联机制 (soft-association) 代替以往融合方法中的硬关联机制，通过这种新的机制使得算法在图像质量退化和传感器没有严格对齐的情况下能更加鲁棒。同时 Image Guidance利用高分辨率的图像提高检测小物体的能力。

在2021年发表了一篇名为Point Transformer的论文，在这篇论文中，分析了 Point Transformer 的局限性，并提出了强大而高效的 Point Transformer V2 模型。这篇论文再Point Transformer基础之上进行了优化，提出了Grouped Vector Attention、Position Encoding Multipler和Partition-based Pooling。

Point Transformer这篇论文与上一篇清华大学团队发表的之间仅相隔一天 ，较早些时候德国也有一个团队也发表了一篇同名的论文。从这几篇论文开始可以算作Transformer正式入驻3D物体检测领域。

近些年在NLP领域Transformer越来越火，在CV领域也有人尝试将Transformer应用于图像视觉任务，相较于流行的卷积神经网络具有更好的性能，典型的如目标检测领域的DETR等。Transformer论文逐段精读【论文精读】DETR 论文精读【论文精读】受到Transformer在视觉和NLP任务中成功的启发，这篇论文提出了一种基于Transformer用于点云学习的框架PCT。