论文阅读笔记 | 三维目标检测——SECOND算法

最新推荐文章于 2024-12-06 12:55:55 发布
最新推荐文章于 2024-12-06 12:55:55 发布
阅读量2.9k 收藏 9
点赞数 1
分类专栏： # 三维点云论文 文章标签： 论文阅读 目标检测 SECOND 3d检测 点云检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44751294/article/details/128044887
版权
SECOND算法通过引入稀疏卷积解决了3d检测算法中计算量大、速度慢的问题。它改进了VoxelNet的损失函数和数据增强策略，特别是针对角度预测的损失函数设计，避免了对立角度的高损失。实验结果显示，SECOND在推理速度上达到State-of-the-Art，并在目标检测方面表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如有错误，恳请指出。

文章目录

paper：《SECOND: Sparsely Embedded Convolutional Detection》

1. 背景

鉴于VoxelNet等3d检测算法中使用的3d卷积会导致计算量大且推理速度慢的问题，所以这里提出了一种稀疏卷积(sparse convolution method)。在介绍VoxelNet中，也提及到由于其损失结构采用直接回归的方式，虽然简洁但可能会限制其网络性能，在此基础上，SECOND提出了一个新的损失函数与数据增强策略来对其进行改进。

2 网络结构

2.1 3d Backbone

整体的SECOND结构与VoxelNet机构是一样的，结构图如下所示。但是，在VoxelNet中使用的3d卷积，这里SECOND提出了稀疏卷积对其进行替换，大大提高了推理速度。
在这里插入图片描述

稀疏卷积有两种：
1）正常稀疏卷积层：没有相关

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【三维目标检测】Second 模型 （一）
叶子的博客
07-08 7186
Second算法是一种基于三维点云的目标检测算法。Second算法采用了几乎与Voxelnet三维目标检测算法完全一致的设计思路，主要差异表现在将Voxelnet CML（Convolutional Middle Layer）卷积提取特征层改为采用三维稀疏卷积进行特征提取。因此，在理解Second算法之前，推荐先看一遍voxelnet算法，详细介绍请参考之前的博客：【三维目标检测】VoxelNet（三）：模型详解_Coding的叶子的博客-CSDN博客_voxelnet 点云 目标检测。 以二
【三维目标检测】Second 模型 （二）
叶子的博客
07-09 6278
Second模型的基本介绍、稀疏卷积、mini kitti数据集等请参考本专栏的上一篇博文：【三维目标检测】Second 模型 （一）_Coding的叶子的博客-CSDN博客。本节将介绍模型的详细结构与推理过程。文中参考代码来源于mmdetection3d框架中的second模型。mmdetection3d安装和调试验证可参考本博客之前的专栏，里面有详细介绍。1 second模型总体过程2 主要模块解析2.1 体素化 函数：self.voxelize(points) 输入
【3D目标检测】SECOND: Sparsely Embedded Convolutional Detection
可乐大牛的博客
10-26 1665
首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络，提出的SECOND可以看做是VoxelNet的升级版。提出动机与贡献VoxelNet计算量比较大，速度比较慢（训练和推理），作者引入稀疏卷积代替朴素的3D卷积VoxelNet中，当预测bbox的偏航角与gt box的偏航角差异为π\piπ的时候，损失会比较大，但是这个bbox其实与真实的边界框已经很相似了。因为作者对于偏航角使用了一个新的损失函数，并且设计了一个方向分类器。提出了一种新的数据增广方式。
点云 3D 目标检测 - SECOND（Sensors 2018）
77wpa的博客
12-29 2746
基于LiDAR或RGB-D的目标检测被用于从自动驾驶到机器人视觉的许多应用中。基于体素的3D卷积网络已被用于在处理点云LiDAR数据时增强信息的保留。然而，问题仍然存在，包括推理速度慢和方向估计性能低。因此，我们研究了一种用于此类网络的改进的稀疏卷积方法，该方法显著提高了训练和推理的速度。我们还引入了一种新的角度损失回归形式来提高方向估计性能，并引入了一个新的数据增强方法来提高收敛速度和性能。所提出的网络在KITTI 3D目标检测基准上产生最先进的结果，同时保持快速推断速度。
Second 算法目标检测
u013502227的博客
01-17 797
稀疏嵌入卷积检测Sparsely Embedded Convolutional Detection
点云3D检测篇三：SECOND
weixin_50206562的博客
07-23 1802
点云数据与传统的图像数据不同，具有较强的稀疏性，无法使用标准的卷积神经网络进行特征提取，如图2所示。同理，考虑到2D任务中如果只处理一部分像素，标准卷积的效果也不好，需要使用2D的稀松卷积，因此本小节就从2D稀疏卷积出发，介绍一下稀疏卷积的原理，大家可以自行将其拓展到3D稀疏卷积中去，其实就多了一个深度信息D。图 2 点云数据（左）和 稀疏图像（右）由上，本小节考虑一个简单的2D稀疏卷积问题来进行讲解。输入数据：​ 定义一个 3 通道的 5 × 5 图像。
算法日记 second
qq_37312720的博客
03-18 636
Example 1: Input: "()" Output: true Example 2: Input: "()[]{}" Output: true Example 3: Input: "(]" Output: false Example 4: Input: "([)]" Output: false Example 5: Input: "{[]}" Outpu...
【3D目标检测】SECOND: Sparsely Embedded Convolutional Detection论文解读（2018）
qq_42575422的博客
11-21 2889
1、 为什么要做这个研究（理论走向和目前缺陷） ? VoxelNet这种直接对点云进行特征提取而非手工设计特征的3D检测算法效果还行但是很慢。以前的方案朝向预测不准。 2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 提出了3D稀疏卷积（在流形卷积基础上进行优化），充分利用了计算机内存的局部性和多级缓存特性减少访存，以及成熟的GEMM计算速度优势，GPU并行计算的优势等，加速计算。提出了新的朝向编码方案，避免朝向相反但损失很大的情况。提出了新的数据增强方法，将其他点云里的目标点加到当前点云中，增
论文阅读笔记 | 三维目标检测——PartA2算法
Clichong
11-25 1809
PointRCNN中发现了基于点云的3d目标中相比2d检测有一个与生俱来的优势，就是3d的标注框不仅提供了检测的目标框，同时还提供语义分割的前景点（也就是目标框中的点）。**在PartA2中，作者进一步发现了我们不仅可以获得需要检测的标注框及其包括的前景点，我们还可以获得每个前景点在标注框中的空间分布信息，或者说是每个前景点在标注框内的相对位置信息**。在现有的研究下，其实并没有完全的将3d标注框的信息完全利用上，这种前景点在标注框的分布信息是有利于提高3d检测网络的性能的。
论文阅读笔记 | 三维目标检测——CenterPoint算法
Clichong
12-08 4621
与2d检测相比，3d检测面临一些特别的挑战：1）点云的稀疏性导致大部分空间为空；2）输出需要产生带方向的3d框，这不能与坐标系进行很好的对齐；3）3d目标的尺寸范围变化比较大。也很好理解，**在一个3d框的自由度比较高，具有方向的属性，在空间上难以和坐标轴对齐**，2d的axis-aligned的方法对3d检测也就不太适用。 为此，**CenterPoint的核心思想就是将框预测改为中心点预测来避免这个问题的出现**。预测目标框的中心点避免了方向属性，减少了搜索空间；其次对于中心点的方法可以简化一些例如目
second.pytorch:用于KITTI对象检测的PointPillars
05-11
点柱 欢迎来到PointPillars。 此存储库演示了如何通过对现有开放源代码库进行最小的要求更改，来在上重现（将在CVPR 2019上发布）的。 这不是官方的nuTonomy代码库，但可以用于匹配已发布的PointPillars结果。 警告：此代码未得到积极维护。 此代码可用于在论文的第一个版本重现结果。 对于还可以在nuScenes上重现PointPillars结果的主动维护的存储库，我们建议使用 。 我们不是存储库的所有者，但是我们与作者合作并认可了他的代码。 入门 这是的一个分支，此处复制了原始README的相关子集。 代码支持 仅支持python 3.6 +，pytorch 0.4.1+。 代码仅在Ubuntu 16.04 / 18.04上进行了测试。 安装 1.克隆代码 git clone https://github.com/nutonomy/second.pytor
论文阅读笔记 | 三维目标检测——PointPillars算法
Clichong
11-25 1717
PointPillars的出发点同样与SECOND一样，希望改进VoxelNet所使用3d卷积计算量太大推理速度太慢的问题。鉴于此，SECOND提出了稀疏卷积来提高普通3d卷积的推理速度，但是任然无法避免3d卷积的庞大计算量，没有从根本上解决这个问题，仍然需要使用计算昂贵的3d卷积操作。这个问题的核心本质是SECOND与VoxelNet将点云量化为三维空间上的一个个Voxel，所以3d卷积是无法避免的。 为了从根本上解决3d卷积的问题，PointPillars提出了一种新颖的量化方法（paper中写到是e
论文阅读笔记 | 三维目标检测——VoxelRCNN算法
Clichong
11-25 2174
现有很多的point-based检测器获得比较好的效果，精确度要比voxel-based检测器要好，为此不少观点认为原始点云中的精确位置信息对于精确的目标定位是至关重要的。VoxelRCNN的动机就是能否保持voxel-based方法速度优势下，获取与point-based方法相当的性能，希望在准确性和效率之间取得平衡。作者通过实验分析，发现现有voxel-based方法的主要缺点是将3d特征体转换为BEV表示，而从未恢复3D结构上下文，这样就找到了需要提高的方向。对于voxel-based的方法，BEV表
3D点云学习：SECOND目标检测①论文阅读
themasterbi的博客
07-01 7277
论文: 论文链接. 源码: 源码链接. 由于本来是准备研究PV-RCNN网络的，可是发现源码还没有开源。但是在PCDet.上发现包含了SECOND等几个网络 源码2: 源码链接2. 1 摘要 基于LiDAR或基于RGB-D的目标检测被用于从自动驾驶到机器人视觉的众多应用中。 在处理点云LiDAR数据时，基于Voxel的3D卷积网络已经使用了一段时间，体素方法能够在处理雷达点云数据时的保留更多的信息。 但是，仍然存在问题，包括推理速度慢和方向估计性能低。因此，我们研究了一种改进的稀疏卷积方法用于这种网络，这显
探秘Second.pytorch：一款高效、灵活的3D目标检测框架
gitblog_00020的博客
04-10 475
探秘Second.pytorch：一款高效、灵活的3D目标检测框架 second.pytorchPointPillars for KITTI object detection项目地址:https://gitcode.com/gh_mirrors/sec/second.pytorch 是由NuTonomy公司开源的一个基于PyTorch的实时3D物体检测框架。该框架专注于自动驾驶领域的应用，旨在提...
学习笔记 | Second算法
最新发布
weixin_54730575的博客
12-06 369
稀疏中间层特征提取如上图所示，其中黄色框表示稀疏卷积，白色框表示子流形卷积，红色框表示稀疏到密集层。可以发现其有两个稀疏卷积阶段，每个阶段有多个子流型卷积层和一个正常稀疏卷积层对z轴进行下采样。，但是对于角度预测进行了改进。这是由于VoxelNet直接预测弧度偏移，但在0和π的情况下会遇到一个对立的问题，因为这两个角度对应的是同一个盒子，但当其中一个被误认为是另一个时，会产生很大的损失。作者在最后的RPN层（原来是两个分支，用来物体分类和位置回归）多引入了一个分支（如下图5所示），用来对。
算法基础_Second_Chapter
zyoulanxin的博客
06-30 215
算法基础_Second_Chapter 顺序表 1个整数4个字节，32位 1个字符1个字节，8位 类型决定储存空间大小，以及，取出来时怎么取出（如上图，取出一个整数或者4个字符） 元素外置，此时，讲地址数据以连续内存形式保存，列表指向地址数据的地址，访问时，找地址数据的地址，然后找到地址数据进而找到对象，此方法避免了 对象内存不同引出的访问问题（整数4个字节，字符1个字节） ...
SECOND算法解析
DARLINGB的博客
02-24 2517
SECOND算法解析（VoxelNet的改进）
SECOND
xinxiang7
02-24 386
SECOND: Sparsely Embedded Convolutional Detection 文章：SECOND 该文章是已经离职百度的李博所创的公司（主线科技）发表的。 Abstract 问题： 推理速度较慢 方向评估表现不好 方法： 改善后的稀疏卷积方法，显著提升训练和推理速度 提出一个角度损失回归方法，改善方向评估表现 一种新的数据增强方法，提升收敛速度和表现 结果： 在当时的KITTI上表现最好 推理速度相对较快，对于较大的模型20FPS，较小的模型40FPS。 Introduct
SECOND目标检测算法
02-20
SECOND（Sparsely Embedded Convolutional Detection）是一种目标测算法，它是基于深度学习的方法，用于在图像或视频中检测和定位目标物体。 SECOND算法的核心思想是将点云数据转换为稀疏嵌入表示，并使用卷积神经网络（CNN）进行目标检测。相比于传统的基于图像的目标检测算法，SECOND专注于处理三维点云数据，因此在处理3D场景中的目标检测任务上具有优势。 以下是SECOND算法的一些关键特点和步骤： 1. 稀疏嵌入表示：SECOND将点云数据转换为稀疏嵌入表示，通过将点云分割为不同的体素（voxel），并将每个体素内的点云信息编码为稀疏张量。 2. 网络架构：SECOND使用了一个基于VoxelNet的网络架构，该网络包含了一个稀疏卷积层和一个稠密卷积层，用于提取和融合点云特征。 3. 目标检测：在网络的最后一层，SECOND通过预测每个体素内是否存在目标物体以及目标物体的位置和大小来进行目标检测。 4. 损失函数：SECOND使用了一种特定的损失函数，结合了目标物体的分类损失和回归损失，用于训练网络并优化目标检测性能。 SECOND算法在点云目标检测任务上取得了较好的性能，并且具有较高的效率和准确性。它在自动驾驶、机器人感知和三维场景理解等领域具有广泛的应用前景。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Clichong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值