【论文阅读】Dynamic Graph CNN for Learning on Point Clouds

已于 2022-05-24 23:20:36 修改
阅读量1k 收藏 15
点赞数 4
分类专栏： 论文阅读笔记 文章标签： 深度学习 3d 计算机视觉 cnn 神经网络
于 2022-05-24 23:00:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45616624/article/details/124877926
版权

论文题目: Dynamic Graph CNN for Learning on Point Clouds (用于点云学习的动态图卷积神经网络)  

论文作者: YUE WANG, 麻省理工学院; YONGBIN SUN, 麻省理工学院; ZIWEI LIU, 加州大学伯克利分校/ICSI; SANJAY E. SARMA, 麻省理工学院; MICHAEL M. BRONSTEIN, 伦敦帝国理工学院/USI Lugano; JUSTIN M. SOLOMON, 麻省理工学院

论文出处: ACM Transactions on Graphics 2019

代码仓库: https://github.com/WangYueFt/dgcnn

论文摘要: 点云提供了一种灵活的几何表示, 也包括大多数三维数据采集设备的原始输出. 点云天生缺乏拓扑信息, 因此设计一个模型去恢复拓扑就能丰富点云的表示能力. 为此, 本文提出一个新的神经网络模块EdgeConv, 适用于基于CNN的点云上的高级任务, 包括分类和分割. EdgeConv作用于在网络每层动态计算的图上. EdgeConv是可微分的, 可被插入到现有架构中. 相较于运行在外部空间或独立处理每个点的现有模块, EdgeConv: 1、结合了局部邻域信息; 2、可以堆叠应用于学习全局形状属性; 3、在多层系统中, 特征空间的邻近度在原始嵌入中跨越可能很长的距离捕捉语义特征. 在ModelNet40, ShapeNetPart, S3DIS上展示模型结果.

用于点云分割. 在网络不同层产生的特征空间结构(可视化为红点到所有其它点的距离), 观察更深层中的特征空间结构捕捉语义相似结构, 尽管它们在原始输入空间的距离很远

目录

介绍

相关工作

人工制作的特征

几何深度学习

几何生成模型

本文方法

边缘卷积

动态图更新

性质

排列不变性(置换不变性): 输入顺序的改变不会影响输出

“部分”平移不变性

与现有方法的比较

评估

分类任务

数据

结构

训练

结果

ModelNet40上的更多实验

部件分割

数据

结构

训练(同分类任务设置)

结果

点云内距离

在部分数据上的分割

室内场景分割

数据

结果

讨论

介绍

现有方法通常直接处理点云, 出于效率的考虑或这些技术在有噪声时的不稳定性而绕过昂贵的网格重建或去噪. 像室内导航、自动驾驶、机器人技术、形状合成和建模等, 这些现代应用需要对点云进行高级处理. 最近的算法不是去识别显著的几何特征(如角和边缘), 而是搜索语义线索和可供性. 这些特征通常需要基于学习的方法获得.

深度学习用于点云数据的问题: 标准的深度神经网络模型要求输入数据有规则结构, 而点云并不规则(点的位置在空间中连续分布, 它们的任何排列顺序都不会改变空间分布). 常见方法: 先将原始点云数据转换为三维网格, 但会引入量化伪影、过多内存占用, 难以捕捉高分辨率细粒度特征.

最先进的网络专门设计来处理点云的不规则性, 直接操作原始点云数据(不再传递给中间的规则表示): PointNet通过对每个点独立操作随后应用对称函数来累积特征来实现点的排列不变性; PointNet的各种扩展不再独立作用于每个点而是考虑点的邻域, 使得网络利用局部特征, 提升基本模型的性能. 这些技术主要在局部范围内独立处理点来保持排列不变性, 但这种不变性忽略了点之间的几何关系, 限制捕捉局部特征.

本文提出EdgeConv在保持排列不变性的同时捕捉局部几何结构. EdgeConv生成描述一个点和其相邻点之间关系的边缘特征, 保持相邻点的顺序不变(排列不变性). EdgeConv显式构造了一个局部图并学习边缘的嵌入, 该模型能在欧氏空间和语义空间对点分组. 

本文实验: 将EdgeConv集成到基础版本的PointNet, 未使用任何特征转换. 

主要贡献

1、提出点云学习的新操作EdgeConv来在保持排列不变性的同时更好捕捉点云局部几何特征

2、该模型能通过从层到层动态更新关系图来学习对点进行语义分组

3、EdgeConv能被整合到多个现有点云处理流程中

4、EdgeConv能在基准数据集上达到最先进性能

相关工作

人工制作的特征

几何深度学习

几何生成模型

本文方法

遵循图神经网络的思想, 通过构建局部邻域图并在连接相邻点对的边上应用类似卷积的操作来开发局部几何结构, 该操作称为边缘卷积EdgeConv, 具有介于平移不变性和非局部性之间的属性. 这个图在网络每一层之后动态更新(一个点的k个最近邻集合在层之间变化, 是从嵌入序列计算出的). 特征空间的邻近性不同于输入空间的邻近性, 导致信息在整个点云中的非局部扩散. 

边缘卷积

最低0.47元/天 解锁文章
是一口羊
关注
  • 4
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Dynamic Graph CNN for Learning on Point Clouds （Edgeconv)
weixin_43996345的博客
10-12 945
论文链接：http://arxiv.org/abs/1801.07829 疑问：Related work里的geometric deep learning？？ spirit graph neural networks? 引言： 这篇文章主要总结了前人关于voxel和Pointnet的理论，并且提出了一种有效提取几何结构的操作层方式（Edgeconv)，并且在保留了排列不变性的基础上说明了动态更新图...
【点云处理之论文狂读经典版14】—— Dynamic Graph CNN for Learning on Point Clouds
yuanmiyu6522的博客
06-16 2282
记X={x1,…,xn}⊆RF\mathbf{X}=\left\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{n}\right\} \subseteq \mathbb{R}^{F}X={x1​,…,xn​}⊆RF为输入点云，其中nnn是点的数量，FFF是点的维度，在最简单的情况下，F=3F=3F=3，每个点都包括了3D坐标xi=(xi,yi,zi)\mathbf{x}_{i}=\left(x_{i}, y_{i}, z_{i}\right)xi​=(xi​,yi​,zi​)，在其
(TOG 19) DGCNN: Dynamic Graph CNN for Learning on Point Clouds
dloading7的博客
04-03 2242
DGCNN[1]主要提出了EdgeConv操作，在点云上能够进行类似CNN在图像上所进行的操作，可以适用于分类与分割任务。 EdgeConv Graph Construction 对于点云中某点 xi{x_i}xi​ ，利用KNN操作构造有向图G=(V,E)G = \left( {V,E} \right)G=(V,E)，其中VVV代表图中各个顶点，EEE代表边。如下图所示： Graph Convolution 定义EdgeConv的核心操作为： 可以看到，对于中心点xix_ixi​与xjx_jxj​，.
Dynamic Graph CNN for Learning on Point Clouds
caibo3913的博客
10-03 1861
提出了一种动态边卷积，给定一个近邻数量k，从输入的n*3点云开始，第一次点的特征只包括xyz三个属性，然后每个点计算自己的k近邻点，针对每个点与自己k近邻点形成的点对，其对应的edge维度为6，因为是两个点特征的concat，总共有n*k*6个特征，这就是所有的edge，然后在n*k*6的edge张量中进行1*1卷积，变成n*k*64，然后在k的维度取max，变成n*64，这就是一轮edge卷...
[3D目标检测和分割系列]Dynamic Graph CNN for Learning on Point Clouds
fanfan121314的博客
09-20 706
文章标题：Dynamic Graph CNN for Learning on Point Clouds 要解决的关键问题：利用图模型，或者图模型的思想来学习点云的特征表示 关键词：边卷积 点云分类 点云分割 Related Work 手动设计的特征 有很多的任务针对几何数据的处理和分析，包括分割，分类和匹配，他们都需要一些形状之间的局部相似性。一般来说，这个相似度是通过建立在能够获得局部集合结构的特征描述子。计算机视觉以及图形学的很多的文章，都针对点云提出了局部特征描述子，这些描述子能够是适应于不同的问题
【3D计算机视觉】Dynamic Graph CNN——点云动态图卷积神经网络
热门推荐
小执着的博客
03-21 1万+
Dynamic Graph CNN for Learning on Point Clouds1.简介1.1 解决的问题1.2 贡献1.3 EdgeConv的优缺点：2.网络结构2.1 EdgeConv层介绍2.2 函数的选择2.3 示意图3.实验结果： 1.简介 该文章是最新出的一篇针对Point Clouds数据分类、分割的网路，它是受点云数据处理的鼻祖论文PointNet、PointNet++...
TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustwort
最新发布
02-19
"TrustGeo: Uncertainty-Aware Dynamic Graph Learning for Trustworthiness" 是一项研究，旨在引入不确定性处理机制到动态图学习中，以提高模型的信任度。本文将详细介绍TrustGeo框架以及其在PyTorch中的实现。 ...
GCGAN: Generative Adversarial Nets with Graph CNN for Network-Scale Traffic Prediction
02-08
GCGAN: Generative Adversarial Nets with Graph CNN for Network-Scale Traffic Prediction
Nonnegative Sparse and KNN graph for semi-supervised learning
02-06
For the graph-based semi-supervised learning, the performance of a classifier is very sensitive to the structure of the graph. So constructing a good graph to represent data, a proper structure for ...
Learning a Nonnegative Sparse Graph for Linear Regression.
02-08
Previous graph-based semisupervised learning (G-SSL) methods have the following drawbacks: 1) they usually predefine the graph structure and then use it to perform label prediction, which cannot ...
Graph Representation Learning
02-18
"Graph Representation Learning" Graph Representation Learning（图表征学习）是指从图结构数据中学习到有用的表征，以便更好地进行后续的机器学习任务。该领域在近年来得到了快速发展，涌现出许多新的方法和技术...
DGCNN(Edge Conv) : Dynamic Graph CNN for Learning on Point Clouds
761527200_leili的博客
10-04 3718
论文地址 一.网络结构图示例 首先，本文开门见山给出网络结构图，以及non-local的思想，简单来说就是相似特征不一定是在local局域内，再来介绍了作者提出的核心方法EdgeConv，下面是EdgeConv的优点： （1）它整合了当地的邻近点的信息 （2）它通过叠加当前点逐渐学习全局形状属性 （3）在经过多层迭代更好的捕捉到潜在的远距离相似特征 二.Introduction 1.考虑到网格重...
Dynamic Graph CNN for Learning on Point Clouds 解析
legend_hua的博客
01-26 1万+
该文章是最新出的一篇针对Point Clouds数据分类、分割的网路，它是受点云数据处理的鼻祖论文PointNet、PointNet++的启发所进行的修改，PointNet只是独立处理每个点，来实现permutation invariance，但忽视了点之间的局部特征。所以这篇文章主要提出了一个EdgeConv层来实现获取局部特征，解决PointNet所没有的处理局部特征的问题。 一、网络结构
DGCNN：Dynamic Graph CNN for Learning on Point Clouds 论文笔记
阿婷的博客
12-05 383
https://www.cnblogs.com/hithongming/p/11869428.html https://blog.csdn.net/hongbin_xu/article/details/85258278
【1801.07829】DGCNN：Dynamic Graph CNN for Learning on Point Clouds
py今天刷题了吗
04-28 740
文章目录3. 参考资料 3. 参考资料 论文笔记：DGCNN（EdgeConv） – 学习论文总结的风格 论文阅读 点云动态图卷积(DGCNN) – 两个创新点：1. EdgeConv ；2.动态图更新 论文笔记：（TOG2019）DGCNN : Dynamic Graph CNN for Learning on Point Clouds – 翻译 – 关注博主的点云分类专栏:https://www.cnblogs.com/wangchangshuo/p/13960031.html 搞懂D.
DGCNN (Dynamic Graph CNN for Learning on Point Clouds,动态图卷积网络)
T5A_318的博客
09-23 4024
1. 解决问题 2. 关键思想 DGCNN 认为 pointnet++ 属于静态图卷积： pointnet++ 根据点对的欧氏距离构建图，然后在每一层进行图粗化操作。使用最远点采样选取点作为下一层的输入。这样使得每一层的图不断减小，但是图的结构没有改变。 DGCNN 的动态图，是因为在特征空间取k近邻，每层计算的特征都不相同，因此相当于每一层的图都具有不同的顶点。 实验证明，特征空间中的距离可以更好的拉近相同语义点的距离。这样不仅学习到了点云的几何信息，而且学习如何对点云进行分组。 ..
Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features
caibo3913的博客
10-03 861
在DGCNN上做了一些改进： and there are several differences between our LDGCNN and DGCNN: • We link hierarchical features from different layers. • We remove the transformation network. 一是添加了节点的跨层连接，二是把3*...
Dynamic Graph CNN for Learning on Point Clouds代码调试
dydwl的博客
12-01 322
针对DGCNN代码的个人调试
pyqt to draw a 100k point Dynamic graph, what controls should I use
03-31
As an AI language model, I don't have personal experience using PyQt, however, here are some suggestions: 1. Use a QGraphicsView to display the graph. This provides a scalable and efficient way to display large amounts of data. 2. Implement a custom QGraphicsItem to represent each point on the graph. This item can be optimized to only redraw when necessary to improve performance. 3. Use a QTimer to periodically update the graph with new data. This can be used to simulate a dynamic graph by adding new points over time. 4. Consider using a separate thread or process to handle the data processing and updating of the graph. This keeps the UI responsive and prevents it from freezing while processing large amounts of data.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值