点云的无序性_NeurIPS2019 麻省理工与上海交大共同提出新型点云深度学习框架PointVoxel CNN...

最新推荐文章于 2022-11-25 22:06:38 发布
最新推荐文章于 2022-11-25 22:06:38 发布
阅读量130 收藏
点赞数 1
文章标签： 点云的无序性
 

801023d33684eadda6a6f114813426f0.png

论文： ’Point-Voxel CNN for Efficient 3D Deep Learning’ 来源： NeurIPS2019 Spotlight 共同一作： Zhijian Liu (MIT), Haotian Tang(上海交大) 代码： https://github.com/mit-han-lab/pvcnn 项目： https://hanlab.mit.edu/projects/pvcnn/

3D深度学习广泛的应用到多个领域，如AR/VR和自动驾驶等，因此受到了越来越多的关注。在这些应用中往往需要很高的实时性。然而，终端设备(如手机和VR头戴设备)受到硬件资源和电池的严格限制。因此，设计高效、快速的三维深度学习模型是非常重要的。这篇文章巧妙地将voxel-based方法和point-based方法结合，新框架同时具备了两种方法的优点。

  • 已有方法的缺陷分析

论文对已有方法 的缺陷 进行了细致地 分析，这是文章重要的一部分。论文的分析很透彻，给笔者留下了很深的印象。 对于 voxel-based 类方法的缺陷，论文指出：这类方法难以平衡分辨率和内存的关系。当体素尺寸较大时，分辨率低，大量点云占据同一个体素，没办法很好地区分。然而，当减小体素尺寸， 提高 分辨率时，内存占用则会成三次方增加。其实 voxel-based类方法的这个缺陷学界基本已经产生了共识，因此这部分此处就不再赘述了。 接着，文章对 point-based 方法的缺点也进行了分析。学界对于point-based方法的缺点还鲜有报道，这也是本篇论文比较新颖的地方之一。作者指出，这类方法的内存访问的无序性(Irregular access)和动态核开销(Dynamic Kernel)会占用大量时间。因为point-based方法直接对无序点云进行操作，以PointNet, PointCNN为代表的这类方法需要对点云进行邻域查询，因此会产生大量的随机内存访问(Irregular access)，这部分会占用大量运行时间。 与此同时，point-based方法还存在动态卷积核的问题。由于点云散落分布在三维空间中，不同于voxel-based类方法中数据那样规整，因此需要动态地确定卷积核，这就是动态核开销(Dynamic Kernel)。 为了更有说服性，作者对几类典型的point-based方法的内存访问(Irregular access)和动态核开销(Dynamic Kernel)时间进行了统计。如图所示是作者对于DGCNN, PointCNN, SpiderCNN的时间消耗进行的计算。左边两个方框内的时间是无效时间，可以看出上述三种point-based方法有大量的无效时间。而右边的Actual computation是实际运算时间，可以看出作者提出的网络时间效率具有压倒性的优势。

ed82577453b7e563bd969197d4ae42e1.png

  • 提出PVConv

分析完voxel-based方法和point-based方法的缺陷之后，作者开始提出自己设计的网络架构Point-Voxel Convolution(PVConv)。   115d5440f07ccc43f18f1f866e5e9e85.png 如图所示，PVConv由两路分支构成。一个支路用来进行基于体素的特征聚合，用来进行粗粒度的邻域特征提取；另一个支路用MLP对点云直接进行特征转换，是一种细粒度的逐点特征提取；最后两种特征会进行融合。 在上面的支路中， 首先 对点云进行归一化； 然后 进行体素划分，这里使用的体素率较低，不至于带来太多消耗。 接着 将体素送入到堆叠的 3D卷积层中进行特征升维，此时学到的是每个体素的高维特征。 然后 对数据进行解体素，将体素的特征转化到每个点上去。 这里的操作很容易让人想到PointNet++中的Grouping-MLP-Interpolate的结构。但是作者很巧妙地用Voxelize代替了Grouping，从而避免了前文提到的随机内存访问(Irregular access)的时间消耗。而此处的Devoxelize也没有直接采用pointnet++中的最近邻interpolate操作，而是用了trilinear interpolation，使得不同点对应不同的特征。 如果把上面支路提取的信息作为邻域特征，那么下方的支路则用来提取每个点的局部特征，直接采用MLP对每个点进行特征提取。两种信息的融合，能够获得更为丰富的特征信息。

  • 实验结果

文章进行了丰富而详细的实验，包括了部件分割、语义分割和目标检测三种任务。作者不仅关心实验效果而且重点分析 GPU的内存消耗。与主流点云深度学习框架(PointNet, PointCNN, F-PointNet等)进行了比较，效果很好。部分实验结果如下： 0abe621d75b4dad5fce9d5d474010586.png 语义分割任务，可以说是，利用更少的内存消耗，获得了更好的实验效果。 587bd18122499181a1b69be599c2ebfd.png 目标检测，性能和内存消耗方面，基本上都超过了F-PointNet++。

  • 总结

这篇论文提出了Point-VoxelCNN (PVCNN)，将点云处理领域的两种方法进行了结合，想法简单巧妙，而且文章对两种方法都进行了缺点的分析，特别是对于point-based类方法的分析，让人印象深刻。此外，文章中对于内存占用的分析计算的思路也值得借鉴，在改进其他网络的过程中，是否也考虑下这个层面呢，没准会给网络性能找到新的突破口。
  相关文章 点云深度网络——PointNet PointNet++文章及代码 PointCNN原理+代码讲解 【点云一分钟】SO-Net:用于点云分析的自组织网络

点击“阅读原文”下载论文

weixin_39993623
关注
【点云系列】Point-Voxel CNN for Efficient 3D Deep Learning
weixin_43882112的博客
05-06 1776
文章目录1. 概要2. 动机3.方法3.1 Point分支3.2 Voxel分支3.2.1 正则化 （Normalization）3.2.2 体素化（Voxelization）3.2.3 特征聚合（Feature Aggregation）3.2.4 去体素化（Devoxelization）3.3 融合4. 效果4.1 部件分割对比4.2 场景分割 比对4.3 目标检测4.4 可视化分析4.5 效率分析5. 思考6. 参考 1. 概要 会议：NIPS19 spotlight 论文：https://arxiv.
Point-Voxel CNN for Efficient 3D Deep Learning(PVCNN)论文翻译
solidays_的博客
09-09 2451
Point-Voxel CNN for Efficient 3D Deep Learning(PVCNN) 摘要 我们介绍了Point-Voxel CNN（PVCNN），可进行高效，快速的3D深度学习。以前的工作使用基于体素或基于点的NN模型处理3D数据。但是，这两种方法在计算上都是低效的。基于体素的模型的计算成本和内存占用量随输入分辨率的增加而立方增长，从而使其无法扩展分辨率。对于基于点的网络，最多有80％的时间被浪费在构造稀疏数据上，这些稀疏数据的内存局部性很差，而不是实际的特征提取。在本文中，我们提出
Point-Voxel CNN【阅读笔记】
weixin_43911343的博客
03-09 718
论文来源：CVPR2019 链接：https://arxiv.org/abs/1907.03739 Motivation 1.voxel-based models : 具有良好的定位性，但由于将部分点划分入一个体素网格中会丢失很多信息。提高分辨率（将网格划分精细化）可以改善这一问题，但相应计算量会几何增加，不适用。 2.pointnet-based modesl：Pointnet方法占用内存小，计...
《三维深度学习中的point voxel cnn》笔记
dtuyg的博客
03-26 894
《三维深度学习中的point voxel cnn》笔记 设计高效的神经网络模型需要将硬件也考虑进来。一方面，一次内存的读取操作比一次算术运算慢接近20倍，另一方面随机访问比顺序访问慢许多，一个高效的网络则应避免内存读取以及随机访问。 传统的方法会将输入的点云栅格化，将其转化成三维的格点，这个可以看成是二维像素的自然扩展，三维格点的每一个位置都是0或者1，代表这个位置是否被占用。转化后模型的设计可...
【点云识别】Point-Voxel CNN for Efficient 3D Deep Learning (NIPS 2019)
Orientliu96的博客
04-06 1018
Point-Voxel CNN for Efficient 3D Deep Learning 本文介绍一篇NIPS 2019里面关于点云识别的文章。 论文 代码 1. 问题 目前的点云处理框架主要分为两大类 Voxel-based Point-based PointNet的问世，极大地促进了Point-based类方法的发展。 因为voxel类方法的缺陷很难解决，内存需求太大。 64x64x64...
NeurIPS 2019 | 麻省理工与上海交大共同提出新型点云处理框架Point-Voxel CNN
李敏乐的博客
12-16 1164
论文：Point-Voxel CNN for Efficient 3D Deep Learning 来源：NeurIPS2019Spotlight 共同一作：Zhijian Liu (MIT), Haotian Tang(上海交大) 代码：https://github.com/mit-han-lab/pvcnn 项目：https://hanlab.mit.edu/projects/pv...
孔洞修补算法.zip_孔洞_孔洞修补 点云_点云三角网_点云孔洞修补_网格模型的孔洞修补算法
07-13
点云三角网是将无序的点云数据组织成有序的多边形网格结构，这样的结构便于后续的几何分析和处理。然而，在实际的点云数据中，由于采集设备的限制或者环境因素，可能会出现数据丢失，形成孔洞。这些孔洞如果不进行...
yuanzhui.rar_yuanzhui_三维点云重构_曲面重构_点云_点云特征
07-14
在IT领域，尤其是在计算机图形学和3D建模中，"yuanzhui.rar_yuanzhui_三维点云重构_曲面重构_点云_点云特征"这个标题涉及了多个关键概念和技术，这些都是现代数字几何处理的核心部分。下面我们将深入探讨这些主题： ...
PointNetLK_点云_apartarr_点云识别_pointnet++_pointnet_源码.zip
10-18
点云识别技术是计算机视觉和机器学习领域中的一个重要分支，主要应用于3D数据的理解与分析。PointNet和PointNet++是两种广泛使用的点云处理框架，它们在3D对象识别、场景理解、自动驾驶等多个领域发挥着关键作用。...
PoissonC++点云数据处理与重构_泊松点云算法_数据开发_点云数据_点云数据处理_
10-04
泊松点云算法（Poisson Surface Reconstruction）是其中一种有效的点云数据重构方法，它能够从无序的3D点云数据中恢复连续、光滑的表面模型。下面我们将深入探讨泊松算法及其在点云处理中的应用。 泊松点云算法的...
Point-Voxel CNN：Point-Voxel Feature Set Abstraction for 3D Object Detection
weixin_41271939的博客
04-25 1020
其实PVCNN这篇论文十分好理解，采用的模型也十分简单，就是通过卷积的方法去提取局部特征，然后通过插值进行上采样，最后将上采样的特征直接concat到点云原始特征，之后就是pointnet那一套了。这篇论文最大的亮点是可以让我们更直观深入地理解基于体素的方法与基于点的方法的区别，文章中不仅指出了两种方法的局限，也给出了相应的实验与分析。
一文尽览 | 基于点云、多模态的3D目标检测算法综述！（Point/Voxel/Point-Voxel）
CV_Autobot的博客
09-05 8890
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文！目前3D目标检测领域方案主要包括基于单目、双目、激光雷达点云、多模态数据融合等方式，本文主要介绍基于激光雷达雷达点云、多模态数据的相关算法，下面展开讨论下~3D检测任务介绍3D检测任务一般通过图像、点云等输入数据，预测目标相比于相机...
点云的无序性_NeurIPS2019 | MIT与上海交大提出新型点云深度学习框架Point-Voxel CNN...
weixin_39826089的博客
10-21 72
首发于公众号：3D点云深度学习。论文：’Point-Voxel CNN for Efficient 3D Deep Learning’
【代码阅读】PVCNN
麒麒哈尔的博客
11-17 2713
文章目录Voxelizationpythoncppcu前向计算反向传播 Point-Voxel CNN for Efficient 3D Deep Learning, 2019 NIPS code：https://github.com/mit-han-lab/pvcnn 文章的的解读可以看我另一篇博客。 PVconv的具体实现在pvcnn-master/modules/pvconv.py voxel_features, voxel_coords = self.voxelization(features, c
【论文阅读】【点云处理】Point-Voxel CNN for Efficient 3D Deep Learning
麒麒哈尔的博客
04-07 6756
文章目录 2019NIPS MIT与上海交通大学，Song Han老师
论文阅读笔记 | 三维目标检测——VoxelRCNN算法
Clichong
11-25 1908
现有很多的point-based检测器获得比较好的效果，精确度要比voxel-based检测器要好，为此不少观点认为原始点云中的精确位置信息对于精确的目标定位是至关重要的。VoxelRCNN的动机就是能否保持voxel-based方法速度优势下，获取与point-based方法相当的性能，希望在准确性和效率之间取得平衡。作者通过实验分析，发现现有voxel-based方法的主要缺点是将3d特征体转换为BEV表示，而从未恢复3D结构上下文，这样就找到了需要提高的方向。对于voxel-based的方法，BEV表
Voxel-RCNN论文和逐代码解析
NNNNNathan的博客
03-18 6889
1、前言 当前的点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。 grid-based的方法将不规则的点云数据转换成规则的3D voxels （VoxelNet， SECOND , Fast PointRCNN， Part A^2 Net）或者转化成 2D的BEV特征图（PIXOR, HDNet，PointPillars），这种方法可以将不规则的数据转换后使用3D或者2D的CNN来高效的进行特征提取。 point-b...
【论文阅读】【三维目标检测】PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection
热门推荐
麒麒哈尔的博客
02-10 1万+
文章目录PV-RCNNRPNBackbone: 3D Sparse ConvolutionClassification & Regression HeadVoxel Set Abastraction Module（VSA）起因VSA ModulePKW Module（Predicted Keypoint Weighting）RCNN实验思考 本论文目前是KITTI排名第一，香港中文大学和商...
【点云处理】Point-Voxel CNN for Efficient 3D Deep Learning
qq_35632833的博客
04-19 1117
文章目录一. 介绍Voxel-base 方法的缺点Point-base 方法的缺点二. PV-CNNVoxel-Based Feature AggregationPoint-Based Feature TransformationFeature Fusion三. 实验效果Object Part Segmentation Visualization四. 结论 论文链接：PV-CNN 代码链接：Gi...
点云的无序性_PointConv: 3D点云卷积 （CVPR 2019）
最新发布
06-06
在深度学习中，卷积神经网络（CNN）是一种非常有效的模型结构，但是CNN最初是为处理图像数据而设计的，无法直接应用于点云数据。因此，研究者们提出了一些针对点云数据的卷积算法，比如PointNet和PointCNN等。 而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值