【迁移学习】Self-Supervised Learning for Domain Adaptation on Point Clouds

摘要

我们描述了点云上用于域自适应(DA)的自监督学习(SSL)的第一个研究。我们引入了一类新的伪装任务，形变重建，其灵感来自于sim-to-real 变换中遇到的形变。此外，我们还提出了一种基于混合方法的标签点云数据训练方法，称为点云混合(PCM)。对用于分类和分割的域适应数据集的评估表明，与现有方法和基线方法相比，该方法有了很大的改进。

1.介绍

自监督学习(SSL)最近被证明对于从未标记的图像或视频中学习有用的表征非常有效。关键思想是定义一个辅助的“借口”任务，使用有监督的技术进行训练，然后将学习到的表示用于感兴趣的主要任务。虽然SSL通常对图像和视频有效，但如何将其应用于其他类型的数据仍不完全清楚。最近，已经有一些尝试设计用于表示学习的点云数据的SSL辅助任务，但这一领域的研究在很大程度上仍未被探索。由于SSL对未标记的数据进行操作，因此测试其对无监督域自适应(UDA)的有效性是很自然的。
领域适应(DA)最近引起了极大的关注。在UDA中，一个目标是对来自目标分布的数据进行分类，但唯一可用的标记样本来自另一个源分布。这种学习设置有很多应用，包括 “sim-to-real”：模型在模拟数据上训练，在模拟数据中有丰富的标签，并在真实世界的数据上进行测试。最近，SSL被成功地应用于跨域的学习。在视觉任务(例如对象识别和分割)的域自适应中。虽然SSL已经被用来适应图像中的新域，但SSL是否以及如何应用于其他数据类型(特别是3D数据)的DA尚不清楚。
本文讨论了在DA环境下为点云发展SSL的挑战。我们描述了一种用于适应新的点云分布的SSL方法。我们的方法是基于具有多头网络的多任务架构。使用源域上的分类或分段loss来训练一个头部，而使用新的SSL loss来训练第二个头部。
为了学习捕获目标域结构的表示，我们开发了一系列新的辅助任务，称为信息重建（DefRec）。我们设计它是为了解决扫描点云中遇到的常见变形。在自然环境中扫描物体通常会由于遮挡而导致物体缺失部分（见图3第三列）。新辅助任务背后的关键思想如下：它通过脱位某些点来变形形状区域；然后，网络必须将这些点映射回原来的位置，重建形状的缺失区域。重要的是，这项任务的成功需要网络学习对象的基本统计结构。
在本文中，我们对变形形状的不同方法进行了广泛的研究。我们将这些方法分为三类：
(1)基于体积的变形：基于输入空间${\mathbb{R}}^3$的邻近度选择区域；
(2)基于特征的变形：利用深点嵌入选择语义相似的区域；
(3)基于采样的变形：基于三种简单的采样方案选择区域。
作为一个单独的贡献，我们提出了一种由混合方法激励的标记点云数据的训练过程，称为点云混合(PCM)。PCM在训练期间应用于源对象，而不是标准分类任务。与DefRec一起，PCM在这一领域的基准分类数据集中产生了比域适应的SOTA更大的改进。
最后，我们设计了一个新的点云分割DA基准。我们表明，DefRec可以很容易地扩展到分割任务，与基线方法相比，性能有所提高。
贡献：
1）本文是第一篇研究点云上的SSL域自适应的论文。
2）描述了DefRec，这是一类新的针对点云数据的辅助任务，其动机是在“sim-to-real”场景中遇到的失真类型。
3）我们实现了一种新的点云区域自适应SOTA算法，在“sim-to-real”任务中比以往的算法有了很大的改进。
4）提出了一种新的点云数据混合算法。
5）提出了一种新的点云分割DA基准。

2.相关工作

点云的域自适应：PointDAN设计了一个基于三个广泛使用的点云数据集：ShapeNet、ModelNet和ScanNet的数据集。他们提出了一种联合对齐局部和全局点云特征进行分类的模型。[40]提出了一种通用模块，将来自不同领域的信息嵌入到共享空间中进行目标检测。其他几项研究考虑使用不直接对无序点集进行操作的方法对LiDAR数据进行域适配。[21]和[57]建议了用于从稀疏体素表示中分割点云的DA方法。[21]需要对场景的点云和图像表示进行裁剪，[57]建议在从点云恢复的3D表面上应用分段。[34]提出了一种基于目标区域建议损失、点分割损失和目标回归损失的体素化点输入DA方法。[37]解决了使用CycleGAN从鸟瞰(BEV)中检测车辆的任务。[51]针对投影到球面上的形状，设计了一种目标分割的训练过程。
域自适应的自监督学习：用于域适配的SSL是一个相对较新的研究课题。现有文献大多是最新的，并且应用于图像领域，这与无序点云有根本不同。[15] 建议使用源和目标样本的共享编码器，然后使用源样本的分类网络和目标样本的重建网络。[53]建议在特征提取器上使用SSL 辅助任务，如图像旋转和补丁位置预测。[41]将解决方案扩展到具有多个SSL辅助任务的多任务问题。[4] 提倡使用拼图[28]辅助任务进行领域概括和调整。我们的方法与基本架构设计中的这些方法相似，但在数据类型和辅助任务方面有所不同。通过基于标记源数据的无监督方式学习聚类目标数据，解决了通用域自适应问题。其他几项研究表明，通过SSL学习有用的表示法以进行跨域学习的结果很有希望。[33]建议使用合成图像的易于获取的标签，如表面法线、深度和实例轮廓，使用合成数据训练网络。[11] 建议使用SSL预文本任务，如图像旋转，作为其域泛化体系结构的一部分。
深度学习中的点云重建和补全：提出了许多点云补全和重建的方法。这些研究大多集中于高质量的形状重建和补全。我们的论文从这些研究中得到了启发，并提出了有效的域适应辅助重建任务。[1] 建议根据[30]中提出的架构，使用自动编码器（AE）学习点云表示。在第5节中，我们展示了我们的方法优于他们的方法。[7] 建议通过在未配对的干净和部分点云的潜在空间上训练GAN来重建点云。由于模式崩溃等常见陷阱，训练GAN可能具有挑战性，另一方面，我们的方法更容易训练。[58]通过学习点功能并复制它们，建议对点云进行上采样的体系结构。[59]从全局特征向量表示中提出了部分点云的对象完成网络。[47]通过对重建形状的级联细化扩展了[59]方法。

3.方法

在本节中，我们将介绍我们的方法的主要组成部分。我们首先描述我们的通用管道，然后详细解释我们的主要贡献，即DefRec，一系列SSL任务。我们通过描述混合方法[61]所产生的PCM和训练过程来结束本节，我们发现混合方法与DefRec相结合是有效的。为了清楚起见，我们在分类任务的上下文中描述DefRec。第5节详细介绍了DefRec对分割的扩展。

3.1.概述

我们解决点云的无监督域自适应问题。这里，我们给出了源分布中的标记实例和不同的目标分布中的无标记实例。两种点云分布都基于同一组类标记的对象。给定两个分布的实例，目标是训练一个模型，该模型能够正确地对目标域中的样本进行分类。
我们采用一种常见的方法来解决DA的学习设置问题，即学习一个共享特征编码器，并在两项任务上进行培训：
（1） 源域上的受监督任务；
（2）源域和目标域上的可训练的自监督任务。
为此，我们提出了一系列新的自监督任务，称为变形重建（DefRec），我们首先对输入点云中的区域进行变形，然后训练我们的模型进行重建。
更正式地说，$X,Y$会相应地记录我们的输入空间和标签空间。让$S\subset X\times Y$表示来自源域的标记数据，$T\subset X$表示来自目标域的未标记数据。我们用$x\in {\mathbb{R}}^{n\times 3}$表示输入点云，$\hat{x}\in {\mathbb{R}}^{n\times 3}$表示它的变形版本，其中n是点数。我们的训练方案有两个单独的数据流，以交替方式和端到端方式进行培训。监督数据流和自监督数据流。两个数据流使用相同的特征编码器$\Phi$，该编码器由点云的神经网络建模。经过共享特征编码器处理后，标记的源样本由$h_{sup}$表示的全连接子网络（head）进一步处理，并对其结果应用监督损失（常规交叉熵损失或将在第3.3节中描述的混合变量）。类似地，在共享特征编码器之后，未标记的源/目标样本被馈送到不同的头部$h_{SSL}$，其负责生成重建版本的$x$