PointNet

最新推荐文章于 2024-07-01 22:09:37 发布
最新推荐文章于 2024-07-01 22:09:37 发布
阅读量1.8k 收藏 28
点赞数 5
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longer88888/article/details/105928989
版权

目录
一、PointNet讲解
1.1 Point Cloud
1.2 Previous Work
1.3 Our Work
1.4 NetWork
1.5 Results
1.6 PointNet的缺陷
二、PointNet ++
2.1 PointNet++的核心思想
2.2 原理介绍
2.3 多级网络
2.4 局部区域尺寸的选择
2.5 Results

	前言：本文主要讲了PointNet和PointNet++网络，该文是整理了一下PointNet 的作者Qi在youtube分享视频，它将这两个网络用简单易懂的语言来做了
	详细的介绍。

一、PointNet讲解

1.1 Point Cloud

通过深度传感器和传统的方式得到的都是点云数据。
优势：Mesh需要设置面片；栅格体素化需要设置分辨率；而点云就不需要。

1.2 Previous Work

(1) 3D CNN
将点云数据转化为栅格数据，三维的conv复杂度很高(空间和时间)，所以很多人都用低的分辨率，就会限制了精确度。分辨率很高的时候，就会导致有很多空格的情况。
在这里插入图片描述(2) 投影转化到2D，然后使用2D CNN，这样会损失一些三维的信息，还需要考虑投影的角度，这个问题很难。
(3) 手工特征提取之后，使用全连接网络。但是这种被手工提取的特征约束住了。

1.3 Our Work

将输入点云，进行端到端的处理。避免了上述的问题。
在这里插入图片描述

（1）满足置换的不变性
每个点云有D个特征描述，最少的是三个特征，每个点的（x,y,z），还有颜色等等信息。比如PFH、FPFH等等都是代表点云的特征。
在这里插入图片描述
【1】做对称操作（这不是传统意义上的对称）可以满足置换型，就是求最大值，取平均，求和操作，使点的顺序无论怎么变换，最后得到的结果都是相同的，但是这么做会损失点的很多关键信息。
在这里插入图片描述
【1.1】求最大值，我们可以发现这肯定会损失大量的关键信息。下图我们可以发现这一点。
在这里插入图片描述
【1.2 PointNet的提出】所以我们可以首先把这个点映射到高纬度空间，然后在更高维上进行max来完成对称操作，这样就避免了损失信息；更高维空间很容易是冗余的空间，这样这不会损失信息。
最后我们通过 r 来消化这个对称的g，来得到新的点云特征，防止损失。这便是原始的PointNet结构。

如果g是对称的，则整个结构是对称的。
MLP是多层感知机，max是最大值池化效果最好。

在这里插入图片描述【1.3 】hausdorff上具有连续性，则这个PointNet结构是非常稳定的。
在这里插入图片描述
(2) 视角的变换：
【1】基于数据变化的模块，通过T-Net得到一个变换参数，然后把原始数据进行变换得到新的数据。这样做易于计算。
在这里插入图片描述
【2】也可以对其他位置的数据进行数据变换。希望的到的矩阵是一个接近于正交矩阵。
在这里插入图片描述

1.4 网络层次：

【1】分类网络
（1）输入的点云数据[n x 3]进行矩阵变换操作。可以得到易于计算的数据(n x 3)。
（2）把得到的变换后数据投影到64维空间中去，得到（n x 64）的数据。
（3）把得到的高维数据再次进行矩阵变换操作，得到（n x 64）的变换数据。
（4）再次把高纬度变换后的数据投影到更高维的1024空间中去，得到（n x 1024）的数据。
（5）进行最大池化的操作，得到全局特征为（1 x 1024）的数据
（6）然后经过mlp操作，以及全连接层的处理，并且各层均会使用BN和ReLU进行处理，以加快网络训练速度和防止过拟合等。最后，得到k个分数，k个分类，这就完成了网络的分类。
在这里插入图片描述【2】分割网络：
把全局特征和局部特征进行融合到一块，就是判断局部的特征点在全局特征中属于哪一类，就把它分到哪一类去，就完成了点云分割。
（1）使融合的数据（n x 1088）进行一次mlp（512，256，128）操作之后，得到的新的点云特征（n x 128）.
(2)使得到的新的点云特征再次进行mlp（128，m）操作之后，可以把对应的点云划分到m个特征去。
在这里插入图片描述

1.5 Results

【3】与其他网络的分类结果的相比，可以发现我们的准确度有了很大的提升。

在这里插入图片描述【2】分割效果如下
在这里插入图片描述【3】局部分割的效果也是挺好的
在这里插入图片描述在这里插入图片描述
【4】节约了大量的空间和减少了大量的计算量。
在这里插入图片描述【5】对数据的丢失十分鲁棒。
在这里插入图片描述原因是：只要关键点保存，就可以分类正确，所以对于点的丢失十分鲁棒。
在这里插入图片描述

1.6 PointNet的缺陷：

3D CNN因为有卷积操作，所以有平移不变性。
（1）PointNet其是将点投影到高维空间中去，然后最大池化，所以其要么对一个点进行处理，要么对所有点进行处理，导致其没有局部的概念，所以很难对精细的特征进行学习，分割具有局限性。
（2）不具有平移不变性，因为对对云的（x,y,z）进行平移，此时进行的池化操作就很有可能发生变化。
由于这些原因，提出了PointNet++.
在这里插入图片描述
在这里插入图片描述

二、 PointNet ++

2.1 PointNet++的基本思想

在局部区域迭代性的去使用PointNet，在小区域使用PointNet生成新的点，新的点又生成新的点集，新的点集中又可以定义新的小区域，从而实现了多级特征学习；因为在区域中可以使用局部坐标系，索引可以达到平移不变性；又因为仍然使用PointNet，点顺序无关，所以可以实现置换不变性。
在这里插入图片描述

2.2 实现原理

（1）先找到局部区域，把小区域的点转换到局部坐标系。
（2）对局部的点使用PointNet，来提取局部特征。
（3）最后小区域的就会得到一个点，这个点包括原来点的位置，和一个高维特征向量F。
（4）按照这种方式，我们会得到一组新的点。
这被称为点云简化。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述

2.3 多级网络

点越来越少，但每个点代表的区域越来越大。
【1】用它来做分类。
在这里插入图片描述【2】用它作为分割网络。
在这里插入图片描述

2.4 局部区域的大小选择

在CNN中，选择尽可能小的Kernel。但是在本文中，这不一定。
【1】在密集的点云中，这个是没有问题的，但是在稀疏的点云中，却很难提取到有用的特征，取得太小就不太好了。
在这里插入图片描述
【2】可以发现PointNet++更容易因为尺寸受到影响。
在这里插入图片描述

在这里插入图片描述
【3】使用MSR和MRG后的，PointNet++受到的影响就很小。
在这里插入图片描述

2.5 Results

【1】全局场景的分割
在这里插入图片描述【2】局部场景的分割
在这里插入图片描述【3】PointNet++可以扩展到任意的尺度空间。其灵活性很好。
在这里插入图片描述

三 使用PointNet的场景理解

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

四 之前的工作

三维物体的识别
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考

https://web.stanford.edu/~rqi/
PointNet讲解

longer88888
关注
  • 5
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PointNet笔记
10-19
总结PointNet的基本原理，以及实现的方法，解释论文中难以理解的部分。
PointNet介绍
leo0308的博客
03-25 1万+
论文：PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation 代码：https://github.com/charlesq34/pointnet 0 引言 PointNet是处理点云数据的深度学习模型，其地位堪比2D图像处理中的CNN网络， 后续的诸多点云数据处理的深度网络都有PointNet的影子。 1 点云数据介绍 既然PointNet处理的是点云数据， 那么首先需要先知道点云数据是长什么样子。 其实所谓点
计算机视觉 | 基于 PointNet 网络的飞机零件 3D 点云分割
最新发布
ttrr27的博客
07-01 915
Hi，大家好，我是半亩花海。 本项目从点云数据的分析出发，利用Paddle框架和PointNet网络，实现从数据集构建、模型组网到训练、预测全流程开发，实现对飞机零件的点云数据的三维点云分割任务。
什么是pointnet
weixin_42611177的博客
02-15 956
PointNet是一种用于点云数据处理的深度学习架构。点云是由大量离散的点组成的三维数据集，例如通过激光扫描或摄影测量获取的物体的三维点云模型。PointNet采用了全连接神经网络和卷积神经网络相结合的方法，可以对点云数据进行分类、分割、检测等任务。PointNet不需要先对点云数据进行特征提取或转换，可以直接处理原始点云数据，因此具有处理效率高、适用范围广等优点，在三维视觉和机器人感知领域得到广...
PointNet原理详解
一抹烟霞的博客
05-26 3332
文章目录一、3D点云的挑战二、排序不变性 一、3D点云的挑战 以无序点云作为输入，因此模型需要具备排序不变性 点云的旋转，平移不应该改变点云的类别，因此模型需要具备几何变换不变性 二、排序不变性 排序不变性，即输入的点云的顺序不应该改变点云所代表的物体类别 当一个N×DN \times DN×D 在 N的维度上随意的打乱之后，其表述的应该是同一个物体。为了实现这一点。一个简单的方法是使用对称函数，如SUM和MAX等函数： 因此我们可以利用max函数设计一个很简单的点云网络，如下： 因此我们构造的
pointnet++自制室外城市区域数据集
08-04
《PointNet++自制室外城市区域数据集详解》 在计算机视觉和深度学习领域，三维点云数据处理是一项重要任务，而PointNet++作为一种强大的点云处理框架，为理解和解析复杂三维环境提供了有效工具。本文将深入探讨...
PointNet++ 源码有批注
08-01
PointNet++是深度学习领域中处理三维点云数据的一种创新性网络架构，由斯坦福大学的研究团队在2017年提出。它扩展了原始的PointNet（PointNet1），在处理非结构化3D数据时增加了对局部结构的感知能力。在本压缩包中...
PointNet和PointNet++的Pytorch实现
08-31
（1）发布语义分割的预训练模型，其中PointNet++可以达到53.5%的mIoU。 (2) 发布预训练模型用于分类和部分分割log/。 2021/03/20：更新分类代码，包括： (1) 添加训练ModelNet10数据集的代码。使用--num_category...
pointnet++的.so文件包
09-02
点云处理在计算机视觉领域中占据着重要的地位，而PointNet++是这一领域的经典之作，它在原始PointNet的基础上进行了扩展，增强了对局部结构的捕捉能力。本压缩包提供了PointNet++实现的一部分关键组件——`.so`文件...
Pointnet2_PyTorch:Pointnet2Pointnet++的PyTorch实现
08-03
Pointnet2/Pointnet++ PyTorch 项目状态：未维护。 由于时间有限，我没有更新此代码的计划，也不会响应问题。 用 PyTorch 编写的 Pointnet2/Pointnet++ 的。 通过支持多 GPU。 支持 PyTorch 版本 >= 1.0.0。 使用来...
PointNet解读
xsh_roy的博客
05-09 1万+
PointNet解决的问题： 如上图所示： 1.点云图像的分类（整片点云是什么物体） 2.点云图像的部件分割（整片点云所代表的物体能拆分的结构） 3.点云图像的语义分割（将三维点云环境中不同的物体用不同的颜色区分开） 论文中展示的输入输出效果： 1.部件分割的效果（左边是输入不完整的点云，右边是输入完整的点云） 2.语义分割的效果 论文中提到的点云的三个特性： 1.点的无序性：点云是无序的集合，点与点之间没有严格的顺序，如将两个点交换之后仍然表示同一个点云。 2.点之间的相互作.
三维深度学习之pointnet系列详解（一）
热门推荐
qq_15332903的博客
05-09 12万+
目前二维深度学习取得了很大的进步并且应用范围越来越广，随着三维设备的发展，三维深度学习得到了很大的关注。最近接触了三维深度学习方面的研究，从pointnet入手，对此有了一点点了解希望记录下来并分享，若有误希望指正~持续更新以下所有的解读基于点云分类。一、三维深度学习简介二、点云存在的问题三、pointnet网络结构详解四、pointnet代码详解五、参考文献一、三维深度学习简介多视角（multi...
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation解析(PointNet模型)
hit1524468的专栏
04-20 2548
【三维目标分类 】PointNet详解（一）
叶子的博客
05-04 8971
PointNet详细解析，含模型结构和数据介绍，以及实验过程。 Pointnet是基于点云的三维目标检测网络，也是三维深度学习目标检测的基础网络之一。本节将参考Github上的源码进行介绍，GitHub地址为GitHub - yanx27/Pointnet_Pointnet2_pytorch: PointNet and PointNet++ implemented by pytorch (pure python) and on ModelNet, ShapeNet and S3DIS.。 ...
(CVPR) PointNet：用于3D分类和分割的点集深度学习 - 详细解读
晨的博客
03-10 1638
PointNet是一种创新的深度学习架构，专为3D点云数据的分类和分割任务设计。它通过直接从原始点云数据学习，成功解决了3D数据处理中的关键挑战，包括数据的无序性和不同尺度的处理。PointNet的核心是利用对称函数构建的网络，能够从任意顺序的点集中学习到代表性的全局特征。此外，它引入了一个独特的“T-Net”（变换网络），确保对点云进行适当的空间变换，增强了模型对于几何变化的鲁棒性。
PointNet++
chengle的博客
06-24 5243
[NIPS 2017]PointNet++: Deep Hierarchical Feature Learning onPoint Sets in a Metric Space 语雀（原文内容多一点，CSDN导不进来） [论文地址][项目页面][GitHub] 在之前的文章中分析了PointNet网络是如何进行3D点云数据分类与分割的。但是PointNet存在的一个缺点是无法获得局部特征，这使得它很难对复杂场景进行分析。在PointNet++中，作者通过两个主要的方法进行了改进，使得网络能更好的提取局部
实现pointnet
05-22
PointNet是一个用于点云分类、分割和检测的深度学习网络，它是首个仅仅基于点云的端到端深度学习架构。PointNet的实现主要包括以下步骤： 1. 数据预处理：将点云转换为网络可以处理的形式，一般是将点云投影到一个规则的网格上，或者通过深度学习网络将点云转换为特征向量。 2. 特征提取：使用深度学习网络从点云中提取特征向量，通常使用全连接神经网络、卷积神经网络等结构。 3. 特征编码：将点云的特征向量编码为一个固定长度的向量，通常使用池化等方法。 4. 分类、分割或检测：使用全连接层、卷积层等结构对点云进行分类、分割或检测。 如果您想了解更多关于PointNet的实现细节，可以参考以下论文： "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation" by Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值