《三维深度学习中的point voxel cnn》笔记

最新推荐文章于 2024-08-28 09:19:03 发布
最新推荐文章于 2024-08-28 09:19:03 发布
阅读量901 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dtuyg/article/details/105112794
版权

设计高效的神经网络模型需要将硬件也考虑进来。一方面，一次内存的读取操作比一次算术运算慢接近20倍，另一方面随机访问比顺序访问慢许多，一个高效的网络则应避免内存读取以及随机访问。

在这里插入图片描述

传统的方法会将输入的点云栅格化，将其转化成三维的格点，这个可以看成是二维像素的自然扩展，三维格点的每一个位置都是0或者1，代表这个位置是否被占用。转化后模型的设计可以通过堆叠三维卷积来设计，抽取输入点云的特征。但是这种基于三维格点的模型很难处理高分辨率的数据，因为分辨率与计算的开销呈三次方关系；也不能处理很低的分辨率，否则丢失的信息会很多。

在这里插入图片描述

为了解决基于格点模型的问题，有不少研究选择直接处理三维点云，如pointnet,pointCNN,DGCNN这样可以减少很多内存的开销。由于点云这种数据的不规则性，如何使用卷积成为一个困难的问题。一般来说先对每一个点查找周围最近几个邻近点，然后在这些临近点上使用卷积。但是它们在内存上不一定是连续存放的。比如第一个点的临近点有可能是中间的某一个点，也有可能是最后的两个点,所以如果要找到每一个点的临近点，我们要很大的内存开销以及要增多随机访问的次数。另外因为临近点相对中心点的坐标也不是固定的，所以我们需要根据每个临近点的相对坐标来动态生成卷积核的权重，这样同样会带来不小的额外开销。发现主流的处理点云的模型有用80%左右的时间处理模型的不规则性而不是模型的计算

在这里插入图片描述

设计了pvconv结构，具有两个模块，将一个物体的整体结构和细节用两个模块来捕捉，这样两个部分都可以更加有效。整合了基于点云和格点的优点，分别是较小的数据开销和较好的数据规整度。

在这里插入图片描述

我们先有一个点云的分支。在这个分支里我们对每一个单独的点进行独立的变换，因为不需要任何临近点的信息，这个分支可以被很高效地实现。我们可以将这个分支看为二维卷积神经网络里的1×1的卷积，它非常高效但是无法捕捉任何临近区域的信息，我们将这个部分留给旁边的格点分支。

在这里插入图片描述

在格点分支中，我们会将点云先转化为分辨率较低的格点，然后在这个上面使用三维卷积，后面在运算结束后我们会将格点转化回点云，和点云分支合并在一起。在这里我们之所以可以使用较低的分辨率，是因为我们在点云分支中保存了一份完整的点云，使用我们并不需要担心信息的丢失。由于这里的格点的像素较低，这个分支也可以变得非常高效。

在这里插入图片描述

可视化两个分支的所抽取的特征，暖色代表的权重更大，暖色代表的权重更小，基于格点分支会去捕捉物体的较大的连续的部分，而基于点云的分支会去捕捉物体较为细节的部分

在这里插入图片描述

下图是pvcnn方法的实际计算效果,附pvcnn在github的链接: https://github.com/mit-han-lab/pvcnn
.

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

dtuyg
关注
论文阅读笔记 | 三维目标检测——PointNet
Clichong
11-15 921
同时，在后续的提取特征中，同样对特征进行规范空间中的对齐。操作方法类似，也是利用提取后的特征通过T-Net获得仿射矩阵再作用到特征上实现变换，不过由于特征的维度一般比较大，难以优化，所以训练会添加一个正则化项，将特征的仿射矩阵转化为一个正交矩阵，同时正交矩阵是不会在输入中丢失信息的。这里PointNet用了很简单的方法，就是把这里获得的全局特征拼接到每个点的局部特征上，完成了局部特征与全局特征的结合，后续再使用一个共享参数的MLP来对这个局部和全局拼接的特征进行降维，再进行后续分割任务，对每个点进行分类。
论文阅读笔记 | 三维目标检测——VoxelRCNN算法
Clichong
11-25 1931
现有很多的point-based检测器获得比较好的效果，精确度要比voxel-based检测器要好，为此不少观点认为原始点云中的精确位置信息对于精确的目标定位是至关重要的。VoxelRCNN的动机就是能否保持voxel-based方法速度优势下，获取与point-based方法相当的性能，希望在准确性和效率之间取得平衡。作者通过实验分析，发现现有voxel-based方法的主要缺点是将3d特征体转换为BEV表示，而从未恢复3D结构上下文，这样就找到了需要提高的方向。对于voxel-based的方法，BEV表
【点云系列】Point-Voxel CNN for Efficient 3D Deep Learning
weixin_43882112的博客
05-06 1790
文章目录1. 概要2. 动机3.方法3.1 Point分支3.2 Voxel分支3.2.1 正则化 （Normalization）3.2.2 体素化（Voxelization）3.2.3 特征聚合（Feature Aggregation）3.2.4 去体素化（Devoxelization）3.3 融合4. 效果4.1 部件分割对比4.2 场景分割 比对4.3 目标检测4.4 可视化分析4.5 效率分析5. 思考6. 参考 1. 概要 会议：NIPS19 spotlight 论文：https://arxiv.
Point-Voxel CNN【阅读笔记】
weixin_43911343的博客
03-09 740
论文来源：CVPR2019 链接：https://arxiv.org/abs/1907.03739 Motivation 1.voxel-based models : 具有良好的定位性，但由于将部分点划分入一个体素网格中会丢失很多信息。提高分辨率（将网格划分精细化）可以改善这一问题，但相应计算量会几何增加，不适用。 2.pointnet-based modesl：Pointnet方法占用内存小，计...
Point-to-Voxel 知识蒸馏在 LiDAR 语义分割中的应用
最新发布
gitblog_01175的博客
08-28 372
Point-to-Voxel 知识蒸馏在 LiDAR 语义分割中的应用 Codes-for-PVKDPoint-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation (CVPR 2022)项目地址:https://gitcode.com/gh_mirrors/co/Codes-for-PVKD 在深度学习的浪潮中，三维空间...
点云的无序性_NeurIPS2019 麻省理工与上海交大共同提出新型点云深度学习框架PointVoxel CNN...
weixin_39993623的博客
10-21 133
论文：’Point-Voxel CNN for Efficient 3D Deep Learning’来源：NeurIPS2019 Spotlight共同一作： Zhijian Liu (MIT), Haotian Tang(上海交大)代码：https://github.com/mit-han-lab/pvcnn项目：https://hanlab.mit.edu/projects/pv...
Point-Voxel CNN for Efficient 3D Deep Learning(PVCNN)论文翻译
solidays_的博客
09-09 2503
Point-Voxel CNN for Efficient 3D Deep Learning(PVCNN) 摘要 我们介绍了Point-Voxel CNN（PVCNN），可进行高效，快速的3D深度学习。以前的工作使用基于体素或基于点的NN模型处理3D数据。但是，这两种方法在计算上都是低效的。基于体素的模型的计算成本和内存占用量随输入分辨率的增加而立方增长，从而使其无法扩展分辨率。对于基于点的网络，最多有80％的时间被浪费在构造稀疏数据上，这些稀疏数据的内存局部性很差，而不是实际的特征提取。在本文中，我们提出
【点云识别】Point-Voxel CNN for Efficient 3D Deep Learning (NIPS 2019)
Orientliu96的博客
04-06 1023
Point-Voxel CNN for Efficient 3D Deep Learning 本文介绍一篇NIPS 2019里面关于点云识别的文章。 论文 代码 1. 问题 目前的点云处理框架主要分为两大类 Voxel-based Point-based PointNet的问世，极大地促进了Point-based类方法的发展。 因为voxel类方法的缺陷很难解决，内存需求太大。 64x64x64...
课程笔记-三维点云处理05 ——Deep Learning on Point Cloud （上）
Jason_____Wang的博客
03-30 697
课程笔记-三维点云处理05 ——Deep Learning on Point Cloud （上） 本系列笔记是对深蓝学院所开设的课程：《三维点云处理》的笔记 课程每周更新，我也会努力将每周的知识点进行总结，并且整理成笔记发上来，欢迎各位多多交流&批评指正！！ 本文主要为课程第五章的笔记！ 由于第五章开始进行深度学习领域知识讲解，因此不仅知识量陡增，课程量也加大，因此本章将分为上下两篇笔记进行记录。 课程链接： 三维点云处理——深蓝学院 正式内容: ##########################
论文阅读笔记 | 三维目标检测——PointRCNN
Clichong
11-15 2035
在PointRCNN诞生之前，对于点云的物体检测基本上是利用鸟瞰图（多视图的投影）或者是量化成Voxel再进行3D卷积的方法实现，这样量化的操作其实相比直接利用点云输入是有部分信息的丢失，而且3D卷积的计算量也较大。基于这个出发点，PointRCNN是第一个比较work完全以点云数据为输入的3d检测算法。 以点云为输入就必然需要面对点云无序性等问题，但是也有其中的优势。相比于2d目标检测的ground truth是有可能重叠的，在一个3维空间中的object之间是彼此独立不可能重叠，也就是说对于点云数据的
Pointnet与Pointnet++论文笔记
weixin_48506823的博客
10-17 2105
Pointnet与Pointnet++论文笔记 近期由于课题需要，研读了Pointnet系列文章，在此总结个人心得，并结合了部分博客进行阐述，不足之处希望各位批评指正，也欢迎各位同学来进行学习交流。 论文地址：https://arxiv.org/abs/1612.00593（pointnet） 论文地址：https://arxiv.org/abs/1706.02413 (pointnet++) 1. 前言 图像数据在计算机中的表示通常编码了像素点之间的空间关系，与此不同的是，点云数据是由一组无序的点所构成
VoxelSpace-GPU:GPU加速的Comanche样式体素渲染器
04-29
VoxelSpace-GPU 使用GLSL着色器的GPU加速的Comanche风格体素引擎 Voxel渲染器非常酷，我喜欢 。 但是，至少在网络演示中，性能不是很好。 我的速度约为20 FPS。 在我的GPU上使用几乎相同的算法，我得到大约500 FPS。 跑步 安装 git clone和cd进入这个仓库，然后运行love . 这个怎么运作 着色器/voxel.glsl // This function is applied to every pixel on the screen in parallel using your GPU vec4 effect( vec4 loveColor, Image texture, vec2 texture_coords, vec2 screen_coords) { // Start at a point close to the c
Point-Voxel CNN：Point-Voxel Feature Set Abstraction for 3D Object Detection
weixin_41271939的博客
04-25 1027
其实PVCNN这篇论文十分好理解，采用的模型也十分简单，就是通过卷积的方法去提取局部特征，然后通过插值进行上采样，最后将上采样的特征直接concat到点云原始特征，之后就是pointnet那一套了。这篇论文最大的亮点是可以让我们更直观深入地理解基于体素的方法与基于点的方法的区别，文章中不仅指出了两种方法的局限，也给出了相应的实验与分析。
NeurIPS 2019 | 麻省理工与上海交大共同提出新型点云处理框架Point-Voxel CNN
李敏乐的博客
12-16 1173
论文：Point-Voxel CNN for Efficient 3D Deep Learning 来源：NeurIPS2019Spotlight 共同一作：Zhijian Liu (MIT), Haotian Tang(上海交大) 代码：https://github.com/mit-han-lab/pvcnn 项目：https://hanlab.mit.edu/projects/pv...
一文尽览 | 基于点云、多模态的3D目标检测算法综述！（Point/Voxel/Point-Voxel）
CV_Autobot的博客
09-05 9096
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式，本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法，下面展开讨论下~3D检测任务介绍3D检测任务一般通过图像、点云等输入数据，预测目标相比于相机...
【论文阅读】【3d目标检测】HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection
hgj1h的博客
04-29 1520
论文标题：HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection 源码地址：https://cvlab.yonsei.ac.kr/projects/HVPR 延世大学出品 文章认为voxel的方法和point的方法各有优劣，这是一个老生常谈的问题 文章让读者耳目一新的地方是两者的一种新结合方式及一种省时省力的方式来调用point feature。 老规矩 上图： 首先讲讲怎么提取voxel和point的特征：
3D目标检测深度学习方法中voxel-represetnation内容综述（二）
水煮鱼的fish的博客
10-09 484
前言 前面的一篇文章：3D目标检测深度学习方法中voxel-represetnation内容综述（一）中笔者分享了如果采用voxel作为深度学习网络输入的backbone的几个重要的模块。也就是目前比较流行的One-stage的方法SECOND的1.5版本，在KITTI和Nuscenes的榜单上都能算是19年比较经典和高效的方法，这一篇文章，笔者填一下上一篇文章的坑，上一篇文章中说到目前的方法可以按照精度和速度两个方面做出研究，其中因为voxel-representat...
PV-RCNN++ | 利用Transformer让Point与Voxel更好结合
CV_Autobot的博客
09-04 1222
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【领域综述】获取自动驾驶全栈近80篇综述论文！outdoor LiDAR点云中的前景点（即物体）和背景点之间经常存在很大的不平衡。它阻碍了检测器专注于信息区域以产生准确的 3D 目标检测结果。本文通过语义Point-Voxel特征交互提出了一种新颖的目标检测网络，称为PV-RCNN++。与...
Point-to-Voxel Knowledge Distillation for LiDAR Semantic Segmentation 论文阅读CVPR2022
MikeCSDN17的博客
09-18 1336
将点云数据体素化后，对得到体素点云进行超体素划分，每个超体素大小为Rs xAs xHs.
怎么做三维点云深度学习模型
09-08
### 回答1： 要制作三维点云深度学习模型，您可以遵循以下步骤： 1. 数据准备：收集和准备三维点云数据集。您可以使用各种传感器（例如激光雷达、结构光）来获取三维点云数据，然后对其进行预处理，例如去噪、点云配准等。 2. 特征提取：选择合适的特征提取方法来从点云数据中提取特征。例如，您可以使用voxel-based方法将点云数据转换为体素网格，并使用卷积神经网络（CNN）对其进行处理。 3. 模型构建：基于您选择的特征提取方法，构建深度学习模型。您可以选择传统的CNN、循环神经网络（RNN）、图神经网络（GNN）等方法来构建模型。 4. 模型训练：使用训练数据集对深度学习模型进行训练。在训练过程中，您需要选择合适的损失函数和优化器，以最小化模型预测值和真实值之间的差距。 5. 模型评估：使用测试数据集对模型进行评估，并计算模型的性能指标，例如准确率、召回率、F1值等。 6. 模型应用：将模型应用于实际场景中。例如，您可以使用模型来进行目标检测、物体识别等任务。 ### 回答2： 三维点云是一种表示物体或场景几何形状的数据结构。三维点云深度学习模型是使用深度学习方法对三维点云进行处理和分析的模型。下面是一般的三维点云深度学习模型设计步骤： 1. 数据预处理：首先，需要将原始三维点云数据进行预处理。这包括去噪、采样和规范化等步骤。去噪可以通过滤波算法去除噪声数据。采样则可以通过保持点云的形状特征的同时减少点云数据的数量，以降低计算复杂度。规范化可以将点云数据映射到标准坐标系中，方便后续处理。 2. 特征提取：在三维点云深度学习中，常常需要将点云数据转换为可供深度学习模型使用的特征表示形式。这可以通过手工设计的特征提取算法，如局部几何特征描述符或深度学习方法，如卷积神经网络等。特征提取的目标是提取出含有有用信息的表征，以便后续的分类、分割等任务。 3. 模型设计：根据任务的不同，可以选择不同的深度学习网络架构进行建模。常见的三维点云深度学习模型包括PointNet、PointNet++、DGCNN等。这些模型主要使用了卷积神经网络结构，以实现对点云的自动特征学习和模式识别。 4. 模型训练：在模型设计完成后，需要使用标注好的数据对模型进行训练。这包括将点云数据输入到模型中，通过反向传播算法更新模型的权重参数。在训练过程中，可以使用一些优化算法，如随机梯度下降（SGD）或Adam，来最小化损失函数并提高模型的性能。 5. 模型评估和应用：在模型训练完成后，需要对模型进行评估和测试。可以使用一些评估指标如准确率、召回率等来评估模型的性能。模型训练好后，可以使用它来进行诸如分类、分割、配准等各种不同的三维点云处理任务。 总之，建立三维点云深度学习模型的关键步骤包括数据预处理，特征提取，模型设计，模型训练和模型评估。通过这些步骤可以提高三维点云的处理效果和精度，进而实现更多的应用需求。 ### 回答3： 三维点云深度学习模型是为了处理三维点云数据而设计的深度学习网络。以下是创建三维点云深度学习模型的一般步骤： 1. 数据准备：首先，需要收集或生成三维点云数据集。这可以通过使用激光雷达扫描物体或环境来获得点云数据，并将其转换为合适的格式，如ASCII或二进制文件。 2. 数据预处理：对点云数据进行预处理是必要的，以确保其适用于深度学习模型。常见的预处理步骤包括去除离群点、点云采样、坐标归一化等。 3. 特征提取：为了使深度学习模型能够有效地处理点云数据，需要将点云转换为适用于深度学习算法的特征表示。常见的方法包括使用体素化（Voxelization）将点云表示为三维体素（voxel）表示，或者使用图卷积网络将点云表示为图结构进行处理。 4. 模型设计：选择合适的深度学习模型来处理点云数据。常用的模型包括PointNet、PointNet++、PU-Net等。这些模型可以用于分类、分割或生成任务。可以根据具体任务需求选择最合适的模型。 5. 模型训练：使用标注的点云数据对模型进行训练。训练过程中，需要定义合适的损失函数来评估预测结果与真实标签之间的差异，并使用优化算法（如随机梯度下降）来更新模型的参数以最小化损失。 6. 模型评估：使用测试数据集对训练好的模型进行评估。常见的评估指标包括分类准确率、分割IoU等，根据具体任务需求选择合适的评估指标。 7. 模型应用：训练好的模型可以用于各种三维点云相关的任务，如目标检测与分类、物体分割、点云重建等。根据实际需求，将模型应用到实际场景中。 总结来说，要设计一个三维点云深度学习模型，需要进行数据准备、数据预处理、特征提取、模型设计、模型训练、模型评估和模型应用等步骤。这些步骤需要根据具体任务需求和数据特点进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值