【论文速览】PointAugment：点云分类的自动增强框架（CVPR2020）

摘要

3D点云是一种相对较新的研究对象，并且近年来变得越来越普遍。新型廉价激光雷达的发展以及对立体和单眼深度估计的改进促进了该领域的研究。但是点云数据很难获得并且很难标记。例如，用于分类任务的标准基准ModelNet40仅包含40个类别的12311个模型。而在ImageNet中，有20000个类别和1400万张图像。因此，数据增强对于点云非常方便且至关重要。作者提出了PointAugment，这是一个新的自动扩展框架，当训练分类网络时，该框架会自动优化和扩展点云样本以丰富数据多样性。 与现有的2D图像自动增强方法不同，PointAugment具有样本感知功能，并采用对抗性学习策略来共同优化增强器网络和分类器网络，以便增强器可以学习生成最适合分类器的增强样本。 此外，我们根据形状分类器和点位移来构造可学习的点增强函数，并根据分类器的学习进度，精心设计损失函数以采用增强样本。 广泛的实验还证实了PointAugment在改善形状分类和检索中各种网络性能方面的有效性和鲁棒性。
论文链接：https://arxiv.org/abs/2002.10876
代码链接（尚未发布）：https://github.com/liruihui/PointAugment/

主要贡献：

作为探索3D点云自动增强的首次尝试，作者展示了用PointAugment代替传统的数据增强方法，可以显着改善ModelNet40 （参见图1）和SHREC16（参见第5节）在四个有代表性的网络上的实现，包括PointNet，PointNet ++，RSCNN 和DGCNN。 此外，我们演示了PointAugment在形状检索上的有效性，并评估了其健壮性，损失配置和模块化设计。

算法框架：

传统的增强策略是在很小的范围内随机扰动，缩放和旋转输入。类似的方法对于2D数据足够有效，但是在3D中，这还不够。我们对形状变换和点位移感兴趣，这是因为正是它们决定了物体。到目前为止，常规策略并没有改变这一事实。例如，如果旋转一个球体的点，它仍然是一个相同的球体。该文使用对抗学习策略来解决该问题。

该工作包括生成样本的强化学习方法。输入样本同时到达增强器和分类器，增强器获得有关样本拟合程度的反馈。

图2： PointAugment框架的概述

增强器按以下步骤工作：

1. 增强器获得样本的点云；
2. 计算每点特征；
3. 然后使用以下方法应用特定于样本的增强回归：

• 按形状进行回归以产生变换，得到3×3的线性矩阵，给出剪切/缩放/旋转；
• 逐点回归以产生每个点的位移；

4. 样本与线性矩阵相乘，并加上位移。
   
   图3：增强器和分类器的结构
   同样，在第3步中，将高斯噪声添加到这两个过程中，以进行更多样化的转换。

增强器损失

为了最大程度地学习，增强样本应比原始样本更具挑战性，并且不应从原始样本中失去形状的独特性。为此，作者最大化了增强样本和未增强样本的损失之间的差异。

他们介绍了参数 ρ来限制增强样本与原始样本的差异幅度。
此参数应大于1，并且由于分类器起初可能很脆弱，因此它们会动态增加，这取决于分类器的预测概率。因此，分类器越可信，从增强器中获取的样本越难。
为了确保仍然可以正确地对目标进行分类，作者在分类损失中添加了额外的超参数 λ控制相对权重。

λ越大导致有更强的增强，作者使它为1。
分类器损失
此外，作者添加了正则化项，该正则化项惩罚了从增强样本和真实样本中分别提取的特征F的差异，这意味着目标在特征空间中应该具有紧密的表示形式。超参数γ=10作为权重用于平衡。

主要结果

与具有传统增强程序的分类器相比，所有具有新增强方式的分类器在准确性方面均具有很高的优势。并且在不平衡的SR16数据集上更加准确。

在MN40数据集上进行形状检索的任务中，各种方法的mAP都受益匪浅，将其提高了6.4％。作者计划在他们的工作中增加更多内容，并使用其框架探索诸如零件分割，语义分割和对象检测之类的任务。

Abstract

We present PointAugment1, a new auto-augmentation framework that automatically optimizes and augments point cloud samples to enrich the data diversity when we train a classification network. Different from existing autoaugmentation methods for 2D images, PointAugment is sample-aware and takes an adversarial learning strategy to jointly optimize an augmentor network and a classifier network, such that the augmentor can learn to produce augmented samples that best fit the classifier. Moreover, we formulate a learnable point augmentation function with a shape-wise transformation and a point-wise displacement, and carefully design loss functions to adopt the augmented samples based on the learning progress of the classifier. Extensive experiments also confirm PointAugment’s effectiveness and robustness to improve the performance of various networks on shape classification and retrieval.

更多文章，关注我的公众号“深知IO”进行查看。