论文笔记-Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Cloud

Hello, 今天是论文阅读计划的第20天啦～

今天要介绍的论文是关于3D点云的，也是我看的第一篇关于3D点云的文章。之前有听过这个名词，但是一直也没有去了解过，今天就趁着这篇文章好好的了解一下啦。

一、背景

促进机器理解3D世界对于许多重要的现实世界应用来说是至关重要的，例如自动驾驶、增强现实和机器人。点云等3D几何数据的一个核心问题是学习有区别、通用和鲁棒的强大表示。为了解决这个问题，在大量人工标注的超视觉信息的帮助下，建立了点云分析的当前技术水平。然而，人工标记的数据需要很高的人工成本，并可能限制所学模型的泛化推广能力。因此，无监督学习是获得用于3D对象理解的通用和鲁棒表示的有吸引力的方向。

从未标记的数据中学习有用的表示是点云分析的一个基本且具有挑战性的问题。虽然已经有一些努力致力于在没有人工监督的情况下学习点云的表示，但是这些方法主要基于由生成或重建任务提供的自我监督信号，包括自我重建，局部到全局重建和分布估计。这些方法已经被证明在捕捉点云的结构和低级信息方面是有效的，但是通常不能从点云学习高级语义信息。因此，无监督模型的性能仍然远远落后于最先进的有监督模型。这项工作的目标是探索一种无监督的学习算法，它可以学习结构信息和语义知识，以提高非监督学习表示的质量。

对象的局部模式和全局模式密切相关。虽然对象的每个部分都是不完整的，但是对象的底层属性在所有部分之间是共享的，这使得从单个部分推理整个对象成为可能。

我们假设3D对象的强大表示应该对部分和整个对象之间共享的属性进行建模，并与其他对象区分开来。基于这一假设，我们提出通过不同抽象层次上的局部结构和全局形状之间的双向推理来学习点云表示，而无需人工监督。

二、研究内容

与局部斑块有噪声且通常独立于整个图像的图像不同(例如，给定一个狗的斑块，我们无法识别该图像是关于动物还是附近的人)，3D对象的所有部分都共享潜在的语义和结构信息。3D对象的这种独特属性使得从单个部分再现整个对象成为可能。基于这一观察，我们假设一个三维物体的强有力的表示应该模拟在部分和整个物体之间共享的并且不同于其他物体的潜在属性。

本文提出了一种新的无监督点云表示学习方案，该方案通过网络中不同抽象层次的局部表示和三维对象的全局表示之间的双向推理来实现。
我们的方法旨在实现3D点云中局部结构和全局形状之间的语义知识共享。具体来说，所提出的Global-Local Reasoning (GLR)包括两个子任务:

1. 局部-全局推理: 我们将局部部分和全局形状之间的共享属性捕获问题形成为一个自监督度量学习问题，其中鼓励局部特征比其他对象的特征更接近同一对象的全局特征，使得每个对象的不同语义信息可以通过局部表示来提取；
2. 全局-局部推理: 我们进一步使用包括自重构和法线估计在内的自监督任务来学习包含3D对象必要结构信息的全局特征。

在几个基准数据集上的实验结果表明，在下游分类任务中，非监督学习的点云表示比监督表示更具区分性、普遍性和鲁棒性。利用我们的无监督学习方法，我们展示了一个简单且轻量级的 SSG PointNet++ 模型可以获得与有监督方法非常有竞争力的结果。通过简单地增加通道宽度