CVPR 2020——Learning to Segment 3D Point Clouds in 2D Image Space

最新推荐文章于 2023-03-23 21:35:10 发布

置顶

橘子果酱CV

最新推荐文章于 2023-03-23 21:35:10 发布

阅读量1.2k

点赞数 2

分类专栏：三维点云文章标签：聚类深度学习神经网络算法 tensorflow

本文链接：https://blog.csdn.net/Dujing2019/article/details/105860867

版权

Learning to Segment 3D Point Clouds in 2D Image Space

论文：https://arxiv.org/abs/2003.05593
源码：https://github.com/Zhang-VISLab/Learning-to-Segment-3D-Point-Clouds-in-2D-Image-Space

Abstract

研究如何有效和高效地将这些点云投影到2D图像空间中的问题，从而使传统2D卷积神经网络（CNN）（例如U-Net）可用于分割。
受到图绘制的激励，并将其重新构造为整数编程问题，以学习每个单个点云的topology-preserving图到网格映射。
为了在实践中加快计算速度，提出了一种新颖的分层近似算法。借助Delaunay三角剖分从点云构建图，使用多尺度U-Net进行分割。

（一）Introduction

作为存储几何特征的基本数据结构，点云会将从物理世界扫描的点的3D位置保存为无序列表。
相比之下，图像在2D网格上具有规则的图案，并且在局部邻域中的像素组织良好。这样的局部规则性对于快速2D卷积是有好处的，使得比较优秀的卷积神经网络（CNN），例如FCN ，GoogleNet 和ResNet ，可以有效地从像素中提取局部特征。
与传统的CNN不同，PointNet缺乏提取局部特征的能力，可能会限制其性能。

论文解决的问题:

How to effectively and efficiently project 3D point clouds into a 2D image space so that we can take advantage of local pattern extraction in conventional 2D CNNs for point cloud semantic segmentation?

投影很容易导致点云中的结构信息丢失，这种结构上的损失是破坏性的，可能会引入大量噪声，以至于原始云中的局部模式被完全改变，即使使用2D常规CNN也会导致性能不佳。因此，良好的点对图像投影功能是弥合点云输入和2D CNN之间差距的关键。

论文方法：

从点云构造图。
使用图形绘图将图形投影到图像中。
使用U-Net分割点。

论文溯源：

受到图形绘制中图形可视化技术的启发（图形绘制是数学和计算机科学领域，其目标是在具有某些特定属性的平面上显示图形的节点和边缘。）
Kamada-Kawai（KK）算法是最广泛使用的无向图可视化技术之一。通常，KK算法定义一个目标函数，该目标函数测量每个图布局的能量。一定的图形距离，并搜索（局部）最小值，以提供合理的2D可视化效果。
KK算法在连续的2D空间而不是2D网格（即离散空间）中工作。
提出了一种整数编程（IP）来强制执行KK算法以学习2D网格上的投影，但是会导致NP-complete问题。
KK算法的计算复杂度至少为O(n2)，且图中节点数为n(例如，点云中的有数千个点)，即使对IP进行舍入处理，其计算代价仍然过高。

论文改进：

为了加快计算速度，遵循分层策略，并进一步提出了一种新的具有 $O(n\frac{L+1}{L})$ 复杂度的分层，其中L表示数字层次结构中的级别。实际上，这种分层方案还可以帮助使用Delaunay三角剖分降低点云图构建的复杂度，对于3D点，最坏情况下的复杂度为 $O(n^{2})$ 。
学习点云的图形到网格投影，然后将其填充3D点和零来生成 $（ x ， y ， z ）$ 图像。将这些图像表示提供给多尺度U-Net 进行分割。

论文贡献：

第一个在学习2D图像表示以进行3D点云分割的背景下探索图形绘制算法。
提出了一种新颖的分层近似算法，该算法考虑了将点云映射为图像表示的计算，并保留了每个云中各点之间的局部信息。
使用结合了Delaunay三角剖分的图绘制算法和多尺度U-Net的集成方法，展示了ShapeNet和PartNet上的最新性能。

（二）Related Work

（三）Our Method: A System Overview

3.1. Graph Construction from Point Clouds

提出现有不足：

在原来论文中，通常通过连接每个点的K个最近邻居（KNN）来生成来自点云的图形。
然而，这样的KNN方法受制于选择合适的K。当K太小时，这些点旨在形成小的子图（即，簇），而不能保证子图之间的连通性。
当K太大时，点密集连接，从而导致局部特征提取中的噪声更多。

分析自己改进：

采用了Delaunary三角剖分一种在计算几何中广泛使用的三角剖分方法）来基于点的位置创建图形。
三角剖分图具有三个优点：（1）保证图中所有节点的连接；（2）所有本地节点直接相连；（3）图连接的总数相对较小。在我们的实验中，
发现Delaunary三角剖分的分割性能要比使用KNN（K = 20）的最佳分割效果略好，边距约为0.7％。
Delaunay三角剖分的最坏情况下的计算复杂度为 $O(n^{\left \lceil \frac{d}{2}\right \rceil})$ ，其中d是特征维，而 $\left \lceil \cdot \right \rceil$ 表示上限操作。因此，在3D空间中，复杂度为 $O(n^{2})$ 。

3.2. Graph Drawing: from Graphs to Images

步骤：

令 $g=(\nu,\varepsilon )$ 是具有顶点集 $\nu$ 和边集 $\varepsilon\subseteq \nu \times \nu$ 的无向图。
$s_{ij}\geq 1,\vee i\neq j$ 是距离，例如两个顶点 $v_{i},v_{j}\in \nu$

最低0.47元/天解锁文章

橘子果酱CV

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
CVPR 2020——Learning to Segment 3D Point Clouds in 2D Image Space

Learning to Segment 3D Point Clouds in 2D Image SpaceAbstract（一）Introduction（二）Related Work（三）Our Method: A System Overview3.1. Graph Construction from Point Clouds3.2 Graph Drawing: from Graphs to Im...
复制链接

扫一扫