TPAMI 2024 | MsSVT++: 用于3D目标检测的混合尺度稀疏体素TransFormer与中心投票

最新推荐文章于 2024-07-04 10:59:58 发布
最新推荐文章于 2024-07-04 10:59:58 发布
阅读量37 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 3d 目标检测 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/139786707
版权

MsSVT++: Mixed-Scale Sparse Voxel Transformer With Center Voting for 3D Object Detection

题目：MsSVT++: 用于3D目标检测的混合尺度稀疏体素变换器与中心投票

作者：Jianan Li; Shaocong Dong; Lihe Ding; Tingfa Xu

摘要

大规模户外场景中精确的3D目标检测需要同时具备丰富长距离和细粒度信息的特征。尽管最近的检测器已经利用基于窗口的变换器来模拟长距离依赖性，但它们往往忽视了细粒度细节。为了弥补这一差距，我们提出了MsSVT++，一种创新的多尺度稀疏体素变换器，它通过分而治之的方法同时捕获这两种类型的信息。这种方法涉及显式地将注意力头分为多个组，每个组负责关注特定范围内的信息。这些组的输出随后被合并以获得最终的多尺度特征。为了减轻在3D体素空间应用基于窗口的变换器所带来的计算复杂性，我们引入了一种新颖的棋盘采样策略，并使用哈希映射稀疏地实现体素采样和聚集操作。此外，一个重要的挑战来自于观察到非空体素主要位于物体表面，这阻碍了边界框的准确估计。为了克服这一挑战，我们引入了一个中心投票模块，它将新投票的体素与混合尺度上下文信息整合到物体中心，从而提高精确的目标定位。广泛的实验表明，我们的单阶段检测器，建立在MsSVT++的基础上，始终在不同的数据集上提供卓越的性能。

关键词

    <
了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
论文速读系列五：SASA、BtcDet、CG-SSD、Multi-view framework、Ret3D
Clichong
12-10 731
在2D目标检测中，有很多工作证明过**目标间的关联性**可以提升检测性能。同理，作者认为，在3D目标检测中，目标间的关联性也可以提升检测性能。然而，**现有的lidar-based检测器却鲜有探索目标间的关联性**，大多数检测器都是在**特征层面隐式**的研究目标关联性带来的影响。提出了作者研究2种关联性对3D目标检测的影响：intra-frame relations 和 inter-frame relations。 - **intra-frame**：对于同一帧点云，利用不同目标间的空间距离（预测的目标位
目标检测中的不平衡问题：综述论文（TPAMI 2020）.pdf
03-16
本文介绍了一篇关于目标检测中不平衡的综述论文：Imbalance Problems in Object Detection: A Review (https://arxiv.org/abs/1909.00169, under review at TPAMI)，作者结合自己最近在这方面的 Tech Report: Is Sampling Heuristics Necessary in Training Object Detectors? (https://arxiv.org/abs/1909.04868) 进行一些阐述和思考，希望可以给大家以启发。
【3D 目标检测】Voxel Transformer for 3D Object Detection
qq_36380978的博客
10-23 2307
一 核心思想 本文主要是在3Dbackbone上用到了改进的transformer方法，以便更好的提取特征。也就是在sparsevoxelmodule和submanifoldvoxelmodule的基础上使用transformer进行特征的提取。 提出两种attention的机制，分别为LocalAttention和 DilatedAttention。之后通过Fast VoxelQuery的方法加速queryingprocess的进程（这里之后会详细叙述。）。 VoTr包含一系列的...
【传知代码】无监督目标检测最新CVPR解读（论文复现）
ztK63LrD的博客
06-01 759
今天我们介绍一篇CVPR2024的最新无监督三维目标检测的SOTA工作，这篇论文介绍了一种名为CommonsensePDetector（CPD）的方法，用于解决无监督三维目标检测中的挑战，可以点击论文地址进行查看，如下图所示：在当前的无监督三维目标检测方法中，通常采用基于聚类的伪标签生成和迭代式自训练过程。然而，由于激光雷达扫描的稀疏性，导致生成的伪标签存在尺寸和位置上的错误，从而影响了检测性能。
详解3D物体检测模型: Voxel Transformer for 3D Object Detection
10点43的博客
04-13 6295
论文链接为：https://arxiv.org/pdf/2109.02497.pdf 项目链接为：https://github.com/PointsCoder/VOTR
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
77wpa的博客
03-08 5163
三维目标通常表示为点云中的三维长方体。这种表示模拟了经过充分研究的基于图像的2D边界框检测，但存在额外的挑战。三维世界中的目标不遵循任何特定的方向，基于框的检测器很难枚举所有方向或将轴对齐的边界框拟合到旋转的目标。在本文中，我们建议将3D目标表示、检测和跟踪为点。我们的框架CenterPoint首先使用关键点检测器检测目标的中心，然后回归到其他属性，包括3D大小、3D方向和速度。在第二阶段，它使用目标上的其他点特征来细化这些估计。在CenterPoint中，3D目标跟踪简化为贪婪的最近点匹配。
场景生成及编辑&3D定位论文阅读
Iron_lyk Blog
02-16 1198
场景生成&3D定位论文阅读
多模态融合 - BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird‘s-Eye View Repre ... (ICRA 2023)
77wpa的博客
06-19 1991
多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这种方法的有效性，尤其是对于面向语义的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的惯例，BEVFusions是一种高效通用的多任务多传感器融合框架。它在共享鸟瞰图（BEV）表示空间中统一了多模态特征，很好地保留了几何和语义信息。
基于边缘智能的沉浸式元宇宙关键技术与展望
weixin_45585364的博客
07-02 43
基于边缘智能的沉浸式元宇宙关键技术与展望王智1,夏树涛1,毛睿21.清华大学深圳国际研究生院，广东 深圳 518055；2.深圳大学，广东 深圳 518060摘要：近年来，360度视频、增强现实、虚拟现实等应用蓬勃发展，并逐渐形成元宇宙沉浸式体验新模式。这些新服务和应用具有高保真、沉浸式交互等共同特征。而作为一种新兴架构范式，边缘计算有效支持了这些需求。阐述释放边缘计算潜力支持沉浸式元宇...
基于Vision Transformer的图像去雾算法研究与实现源码+文档说明（python高分项目）.zip
03-23
基于Vision Transformer的图像去雾算法研究与实现源码+文档说明.zip预处理数据 --- 把训练数据图像切分成大小为256*256的小图 下载数据集存放在： /home/dell/桌面/TPAMI2022/Dehazing/#dataset/NH_haze/ 内含两个...
SurfaceNet-plus:2020年的TPAMI，SurfaceNet +是非常稀疏的MVS的体积学习框架。此处保留了稀疏-MVS基准。作者
03-21
适用于非常稀疏的MVS的端到端3D神经网络。 2020TPAMI。 或Arxiv 。 关键贡献 提出了稀疏-MVS基准（正在建设中）对数据集进行综合评估： ，等。 提出了一种可训练的遮挡感知的视图选择方案，用于体积MVS方法，例如 ...
Transferable-Interactiveness-Network:用于人与物体交互检测的可传递交互性知识代码。 （CVPR'19，TPAMI'21）
05-04
代码“用于人与对象交互检测的可传递交互性知识” 。 通过创建，周思远，，，本泽马，郝舒放，闫凤王， Cewu路。 链接： [CVPR arXiv] ， [TPAMI arXiv] 引文如果您发现我们的工作对您的研究有用，请考虑引用： @...
ObjectDetectionImbalance:列出与目标检测中的不平衡问题相关的论文
05-29
解决目标检测中不平衡问题的论文库 该存储库提供了解决对象检测中不平衡问题的最新研究列表。 它遵循以下论文中提供的分类法（如果您从此存储库中受益，请引用该论文）： K. Oksuz、BC Cam、S. Kalkan、E. Akbas，...
各种模型~合集
whaosoft143ai的博客
04-22 169
1. 驶向未来：面向自动驾驶的多视图预测与规划的世界模型Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving论文作者：王宇琪，何嘉伟，范略，李鸿鑫，陈韫韬，张兆翔最近，世界模型的概念引发了广泛关注。我们首次提出了一种名为Drive-WM的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。Drive-WM模型通过多视图世界模型，能够想象不同规划路
vue 封装3D柱状图，每个柱子颜色不同，支持渐变
丽啊丽宝的博客
07-04 333
【代码】vue 封装3D柱状图，每个柱子颜色不同，支持渐变。
2024年公关服务行业分析报告.pptx
07-09
行业报告
惠州市建筑物矢量数据（Shp格式+带高度）.txt
最新发布
07-09
因文件较多，数据存放网盘，txt文件内包含下载链接及提取码，永久有效。失效会第一时间进行补充。
IEEE TPAMI 用于缺陷检测的期刊
04-05
IEEE TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）是一个涵盖模式识别、计算机视觉、图像处理和机器学习等领域的高质量期刊，其中也包括用于缺陷检测的研究。 以下是一些在IEEE TPAMI期刊上发表的用于缺陷检测的论文： 1. "Automatic Defect Detection in X-Ray Images Using Convolutional Neural Networks"（使用卷积神经网络自动检测X射线图像中的缺陷）-- 该论文提出了一种基于卷积神经网络（CNN）的自动缺陷检测方法，该方法可以应用于各种类型的X射线图像中的缺陷检测。 2. "Unsupervised Defect Detection in Textured Materials Using Convolutional Autoencoders"（使用卷积自动编码器在纹理材料中进行无监督缺陷检测）-- 该论文提出了一种基于卷积自动编码器（CAE）的无监督缺陷检测方法，该方法可以有效地检测纹理材料中的缺陷。 3. "A Hierarchical Approach to Defect Detection in Semiconductor Wafer Images"（半导体晶圆图像缺陷检测的分层方法）-- 该论文提出了一种基于分层方法的缺陷检测方法，可以应用于半导体晶圆图像中的缺陷检测。 4. "Deep Learning-Based Defect Detection in Semiconductor Manufacturing"（基于深度学习的半导体制造中的缺陷检测）-- 该论文提出了一种基于深度学习的缺陷检测方法，可以应用于半导体制造中的缺陷检测，并且在实验中取得了良好的结果。 这些论文都展示了IEEE TPAMI作为一个重要的期刊，提供了广泛的研究和应用领域，包括缺陷检测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值