【学习笔记】TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

已于 2024-12-08 20:17:52 修改
阅读量1k 收藏 22
点赞数 29
文章标签： 学习 笔记
于 2024-11-26 20:17:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53805563/article/details/144010386
版权
最低0.47元/天 解锁文章
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers总结
qq_43456497的博客
02-09 1184
现状：激光雷达（LiDAR）和相机是自动驾驶中3D物体检测的两个重要传感器。问题：尽管传感器融合在该领域日益普及，但对较差的图像条件（如恶劣的照明和传感器未对准）的鲁棒性不足。现有的融合方法很容易受到这些条件的影响，主要是由于校准矩阵建立的激光雷达点和图像像素的硬关联。
【论文阅读】【三维目标检测】Camera-Lidar融合的3D目标检测网络
麒麒哈尔的博客
11-18 1577
Camera-LiDAR based 3D object detection
点云检测之TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Blabala的博客
06-03 1943
多模态融合在自动驾驶领域越来越受欢迎，但是针对劣质图像时（照明不良、传感器未校准）鲁棒性不好，由于通过相机标定矩阵建立的 Lidar 和像素的硬关联，很难解决这种问题。本文提出了 TransFusion，使用软关联机制来处理较差的图像条件。TransFusion使用一种软关联机制 (soft-association) 代替以往融合方法中的硬关联机制，通过这种新的机制使得算法在图像质量退化和传感器没有严格对齐的情况下能更加鲁棒。同时 Image Guidance利用高分辨率的图像提高检测小物体的能力。
【论文阅读】[CVPR2022]TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
热门推荐
m0_58702532的博客
04-05 1万+
(1)当前面临的问题是什么以及原因？ 虽然sensor fusion在该领域越来越受欢迎，但是对劣质图像(inferior image)条件鲁棒性不好，（例如照明不佳和传感器未对准），现有的融合方法很容易受到这些条件的影响，主要是由于calibration matrices建立的 LiDAR points和image pixels的硬关联(hard association)。 注 ：calibration matrices标定矩阵：用于校准相机和LiDAR (2)作者提出的解决问题的方法 作者.
TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记
weixin_45657478的博客
08-17 1447
TransFusion:Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 论文笔记
CVPR2022-TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
zyrant丶的博客
04-20 1276
PS：转载自我的知乎
多模态融合2022|TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
Rolandxxx的博客
03-24 8695
论文题目：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers 会议：CVPR2022 单位：香港科技大学，华为 1.摘要+intro 作者认为目前的坑是在point-wise级的融合，之前方法存在两个主要问题，第一，它们简单地通过逐个元素相加或拼接来融合LiDAR特征和图像特征，因此对于低质量的图像特征，例如光照条件较差的图像，这样融合的性能会严重下降。第二，稀疏的LiDAR点与密集的图像像素之间
【多模态融合】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection
cjy_colorful0806的博客
05-20 2679
多传感器融合在自动驾驶系统中展示了其巨大优势。不同的传感器通常能提供互补的信息。例如，摄像头以透视视角捕捉信息，图像中包含丰富的语义特征，而点云则提供更多的定位和几何信息。充分利用不同传感器有助于减少不确定性，从而进行准确和鲁棒的预测。 然而，由于不同模态的传感器数据在分布上的巨大差异，融合这些多模态数据一直是个挑战。当前的主流方法通常通过构建统一的鸟瞰图（BEV）表示来进行多模态特征融合，或通过查询令牌（Transformer架构）来实现多模态融合。
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3220
【CVPR2022】完整论文列表
TransFusion-Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
qq_30035663的博客
04-16 3838
学习来自华为的一篇CVPR，3d目标检测、激光雷达+图像融合，Transformer。
【论文阅读】【多传感器融合】TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
hgj1h的博客
05-07 1818
论文标题：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers CVPR2022 现存的Lidar-Camera融合的方法：主要分为三类：result-level，proposal-level以及point-level result level是这么做的：首先用现成的2d检测器来生成3dproposals,然后用pointnet来进行物体定位。（FPointNet/RoarNet） proposal
TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
m0_64483459的博客
10-18 461
具体来说，我们设计了一种使用两个变压器解码器层作为检测头的顺序融合方法。据我们所知，我们是第一个使用激光雷达相机3D检测变压器。我们的第一个解码器层利用一组稀疏的对象查询来从激光雷达特征中生成初始边界框。与2D中独立于输入的对象查询不同[2,44]，我们使对象查询依赖于输入和类别感知，从而使查询具有更好的位置和类别信息。接下来，第二个转换器解码器层自适应地融合对象查询与空间和上下文关系相关的有用图像特征。我们通过空间约束初始边界框周围的交叉注意来利用局域归纳偏差，以帮助网络更好地访问相关位置。
CVPR 2022 | TransFusion：用Transformer进行3D目标检测的激光雷达-相机融合
阿木寺的博客
07-03 6458
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：花椒壳壳|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/485971924论文标题：TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers...
TransFusion：基于Transformer的鲁棒激光雷达-相机融合3D目标检测
gitblog_00009的博客
03-10 432
TransFusion：基于Transformer的鲁棒激光雷达-相机融合3D目标检测 TransFusion 项目地址: https://gitcode.com/gh_mirrors/tr/TransFusion ...
KITTI SOTA！Dual Fusion：减少Lidar-Camera融合特征不对齐问题
CV_Autobot的博客
02-28 1647
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【多传感器融合】技术交流群后台回复【多传感器融合综述】获取图像/激光雷达/毫米波雷达融合综述等干货资料！摘要 融合来自相机和激光雷达传感器的数据是实现鲁棒3D目标检测的关键技术。相机-LiDAR融合的一个关键挑战是，在融合两个传感器的特征时，在坐标和数据分布方面缩小两个传感器之间的大区域差距。在本文中，作者提出...
​CVPR2023 | MSMDFusion: 激光雷达-相机融合的3D多模态检测新思路（Nuscenes SOTA！）...
CV_Autobot的博客
03-13 4715
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【3D目标检测】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！融合激光雷达和相机信息对于在自动驾驶系统中实现准确可靠的3D目标检测至关重要，由于难以将来自两种截然不同的模态的多粒度几何和语义特征结合起来，这是一个很大挑战。最近的方法旨在通过将2D相机图像中的提升点（称为“see...
CVPR2022论文速递（2022.3.23）！共17篇
zero的博客
03-24 885
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：φ-SfT: Shape-from-Template with a Physics-Based Deformation Model论文/Paper: http://arxiv.org/abs/22...
【沉浸式求职学习day39】【双指针算法题】
最新发布
贺函不是涵的博客
05-14 771
双指针算法题
【datawhale组队学习】coze-ai-assistant TASK01
m0_52024881的博客
05-13 925
通过扣子开发的 AI 应用有明确的输入和输出，可以根据既定的业务逻辑和流程完成一系列简单或复杂的任务，例如 AI 搜索、翻译工具、饮食记录等。工作流具备了： 大量的重复性任务 （如内容创作、编辑、发布）和 固定的业务流程 （如策划、创作、审核、发布）。的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。教程：Coze / 扣子（飞书文档）10. 教程：Coze / 扣子。4万字教程-COZE/扣子与智能体入门（飞书文档）
TransFusion：鲁棒激光雷达-相机融合3D物体检测新方法
"TransFusion是一种基于Transformer的深度学习模型，设计用于实现鲁棒的激光雷达-相机融合的3D物体检测。该方法解决了现有融合技术在恶劣图像条件下的局限性，如光照不佳和传感器错位，通过引入软关联机制增强融合的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值