点云配准论文阅读3-Cross-source point cloud registration: Challenges, progress and prospects跨源点云配准：挑战、进展与展望

Cross-source point cloud registration: Challenges, progress and prospects跨源点云配准：挑战、进展与展望

Xiaoshui Huang a, Guofeng Mei b, Jian Zhang b

黄晓水a， 梅国峰b， 张健b

• a

  Shanghai AI Laboratory, Shanghai, China上海人工智能实验室，中国上海

• b

  GBDTC, FEIT, University of Technology Sydney, AustraliaGBDTC， FEIT， 悉尼科技大学， 澳大利亚

Received 30 November 2022, Revised 16 April 2023, Accepted 22 May 2023, Available online 26 May 2023, Version of Record 7 June 2023.收稿日期：2022 年 11 月 30 日，修订日期：2023 年 4 月 16 日，录用日期：2023 年 5 月 22 日，在线获取日期：2023 年 5 月 26 日，记录版本：2023 年 6 月 7 日。

文章链接https://www.sciencedirect.com/science/article/pii/S0925231223005064#b0025

Highlights突出

• •A clear definition and analysis about cross-source point cloud registration problem.对跨源点云配准问题的明确定义和分析.
• •A comprehensive review about cross-source point cloud registration.关于跨源点云配准的综合综述。
• •Summarize the research directions and potential application fields of cross-source point cloud registration.总结了跨源点云配准的研究方向和潜在应用领域。

Abstract

随着3D传感器技术的快速发展，跨源点云cross-source point cloud（CSPC）配准这一新兴话题引起了越来越多的关注。与传统的同源点云侧重于来自同一类型 3D 传感器（例如 Kinect）的数据不同，CSPC 来自不同类型的 3D 传感器（例如 Kinect 和 LiDAR）。 CSPC注册将同源数据采集的需求推广到异源数据采集的需求，从而导致应用的泛化，并结合了多种传感器的优点。在本文中，我们对 CSPC 注册进行了系统回顾。我们首先介绍CSPC的特点，然后总结该研究领域的关键挑战，然后介绍相应的研究进展，包括该主题的最新和代表性进展。最后，我们讨论了这个充满活力的领域的重要研究方向，并解释了在几个应用领域中的作用。

Keywords

Point cloud registration ;Survey;Deep learning;Optimization;Cross-source dataset

1. Introduction

点云是描绘 3D 场景表面的 3D 点的集合。最近，由于传感器技术的快速发展，点云采集变得广泛可用且消费者负担得起。由于3D数据采集的复杂性，目前还没有完美的3D数据采集传感器。现有传感器在记录 3D 场景方面具有特定的优点和局限性。例如，激光雷达利用主动光捕获准确但稀疏的点云。深度相机使用红外或立体视觉技术来估计深度，深度可用于生成密集的点云，但通常范围有限，精度中等。 RGB相机结合3D重建技术也可以生成带有纹理信息的密集点云，但精度通常低于深度相机和激光雷达传感器。由于优点与局限性并存，不同类型的传感器数据融合可以结合多种传感器的优点，使点云采集准确、高效、详细。在这个融合过程中，CSPC注册技术起着至关重要的作用。
除了前面提到的传感器融合之外，跨源是一项重要的计算机视觉技术，因为它在许多领域应用中发挥着关键作用。首先，机器人技术。高精度传感器从服务器端提供高质量的数据。然后，可以通过来自用户侧的廉价且消费者可用的传感器数据来实现重建和定位服务。这将从用户端以低成本的方式部署服务。其次，建设。比较设计的 3D CAD 模型和现场点云扫描的跨源可以为施工质量提供快速评估。第三，遥感。跨源点云可以合并不同级别的遥感细节，并合并不同的传感器以利用遥感的不同优点。
CSPC配准是一种对齐来自不同类型传感器的两个点云的技术。它的科学问题在于来自不同类型传感器的两个重叠点云的变换矩阵（尺度、旋转和平移）估计。从科学问题的角度来看，CSPC配准需要估计尺度差，这与以往的同源刚性点云配准不同。
CSPC 配准极具挑战性，因为来自不同类型传感器的处理的点云包含许多变化。根据[1]、[2]、[3]、[4]，这些变化被定义为跨源挑战，包括 **1) 大异常值，2) 密度差异，3) 部分重叠，4) 大旋转，5 ) 尺度差异。**跨源挑战很困难，因为这些变化通常是混合的，并且在跨源点云中很重要。图 1 直观地展示了挑战的示例。

图 1. 显示跨源点云挑战的示例。

跨源挑战被忽视了。大多数现有技术仅在输入数据具有相同类型和密度（分辨率）并且仅包含刚性变换时才能给出有意义的结果。因此，许多最新的注册方法在遇到跨源挑战时都面临困难甚至失败。例如，DGR [5] 在 3DMatch [6]（深度相机捕获的同源数据集）上达到 91.3%，但在 3DCSR（跨源数据集）[7] 上仅达到 36.6%。 FMR [8] 在 7Scene（深度相机捕获的同源数据集）上实现了不到 2°，但在 3DCSR 上仅实现了 17.8%。造成如此大的性能差距的主要原因有两个方面。首先，这些变化通常是显着且混合的，因此鲁棒的特征提取和对应搜索都面临困难。这将导致基于对应的算法中出现大量的对应异常值。其次，由于混合变化使得鲁棒特征提取变得困难，无对应方法也面临挑战。
CSPC注册值得更多关注有两个原因。首先，如上所述，从单个传感器获取的点云存在局限性，CSPC配准合并多个传感器的数据可以克服单个传感器的局限性。这很大程度上为AI社区的数据获取做出了贡献。其次，CSPC 注册在彻底改变人工智能社区的许多下游任务（例如 3D 重建和本地化）方面发挥着不可否认的关键作用。 1）3D重建。利用多个传感器进行 3D 重建，为自动驾驶、机器人和元宇宙等许多应用提供准确、详细和高效的 3D 环境地图构建。例如，激光雷达提供了一种快速准确的方法来生成大地图但通常稀疏。与其他 3D 传感器（例如深度相机）结合可以生成准确且详细的地图。 2）本地化。点云可以提供更精准的视觉定位服务。然而，服务提供商通常采用昂贵的3D传感器来保证服务质量，而消费者通常出于成本考虑而使用廉价的3D传感器。 CSPC配准是保证定位精度不可或缺的技术。虽然CSPC配准是AI界的基石技术，但与之前的同源点云配准相比，发展还存在很大差距。随着传感器技术的快速发展，对这一新兴课题进行研究正当其时，也刻不容缓。然而，目前还没有关于CSPC注册的系统综述来清楚地揭示这项研究的价值并总结挑战。
在本文中，我们对 CSPC 注册进行了全面的调查，旨在清楚地揭示 CSPC 注册的价值，并为进一步的研究提供见解。我们首先介绍了石药集团的特点，并深入分析了该研究领域的关键挑战。然后，我们介绍了相应的研究进展，包括该主题的最新和代表性进展。之后，我们讨论这个充满活力的领域的重要研究方向。最后，我们总结了跨源点云配准的潜在应用领域，并解释了 CSPC 配准的宝贵作用。这些贡献可总结如下：

•总结现有3D传感器的特点并分析跨源挑战。
•关于 CSPC 注册的综合文献综述。
•根据我们的文献分析提出几个研究方向。
•总结申请领域并解释CSPC注册的作用。

2. 3D sensors and cross-source challenges

近年来，传感器技术得到了快速发展。 有许多 3D 传感器可用，其中一些是消费者买得起的。 在本文中，我们列出了最新可用的可以生成点云的传感器类型并总结了它们的特征。

表 1. 可以生成点云的最新传感器类型的摘要。

表 1 显示不同的传感器类型具有不同的成像机制。 本节将介绍这些机制，描述其特点并比较它们的差异。
• LiDAR：发送一束光并接收反射光。 发送器和接收器之间的时间差测量传感器到表面之间的距离。 然后，结合传感器 XY 坐标系的距离生成 3D 点。 LiDAR点云通常具有很长的范围（长达500米），但它们通常很稀疏，数据格式为XYZ坐标并覆盖传感器周围360°。
• Depth-A：主动深度传感器（Depth-A）发送红外光，并通过接收红外光或识别形状扭曲来测量深度。 然后，使用相机内部参数将深度转换为 Z 坐标。 最后，通过将 Z 坐标与传感器的 XY 坐标相结合来生成点云。 获取的点云通常密集且范围较小（0.2-9米）。
• Depth-P：无源深度传感器（Depth-P）利用立体方法来估计深度。 然后，利用深度以与Depth-A相同的方式生成点云。 获取的点云通常密集且范围适中（0.2-20 米）。
• RGB-Cam：RGB 相机（RGB-Cam）与 3D 重建技术 [9] 运动结构（SFM)相结合也可用于生成点云。 重建的点云通常是密集且彩色的。
不同的成像机制在点云采集方面有不同的优点和局限性。 激光雷达更适合远距离、大范围的场景。 深度传感器更适合近距离场景采集，细节更多。 RGB 摄像头 + 3D 重建的范围比深度传感器稍远，但细节略少。 CSPC注册可以结合多个传感器的优点并克服单个传感器的限制。 对于遥感[10]、机器人技术[14]和建筑[3]等许多领域来说，这是一项非常有价值的研究。 表 2 总结了现有 CSPC 注册解决方案中使用的不同类型的传感器。 从表2可以看出，LiDAR和RGB相机融合方法的关键过程是对应优化，而LiDAR和Depth相机融合的关键过程是模型匹配。 相比之下，深度相机和RGB相机融合的方法，关键过程有广泛的选择，包括模型匹配和特征学习。

生成的跨源点云通常包含较大的变化（参见图 1 作为视觉示例）。跨源点云的配准比同源点云面临更多的挑战（例如，所有点云都是用激光雷达传感器捕获的）。

根据[2]，跨源点云主要包含以下挑战：
•异常值。由于成像机制和捕获时间不同，很难保证相同的3D点位于相同的位置。此外，很难在两个获取的点云中生成相同数量的 3D 点。这两种变化都会导致采集异常值。此外，在对应估计过程中，不准确的对应是另一种异常值。
在跨源点云中，离群点比同源点云要困难得多。在同源情况下，传感器精度相同，异常值来自不同位置。在跨源情况下，传感器精度不同，异常值来自不同位置或传感噪声。例如，图1中的花盆的形状略有不同。这些来自不同传感器的异常值比同源异常值更具挑战性。
•密度差。由于不同的成像机制和不同传感器的特性，所获取的点云通常具有不同的密度。例如，激光雷达点云稀疏，而立体相机点云密集。
•部分重叠。不同类型的传感器捕获的点云很难保证完全相同的姿态和视野。因此，跨源点云通常是部分重叠的。部分重叠问题在跨源点云中广泛存在，比同源点云需要更加关注。
•回转大。与顺序点云采集不同，CSPC采集面临着保持小旋转的困难。在真实场景中，采集姿势在两个捕获的点云之间是随机的，通常可能包含较大的旋转。
•规模差异。由于成像机制不同，每个单元在捕获的点云中的物理平均值通常不一致。在没有任何校准的情况下，跨源点云存在尺度差异。例如，LiDAR点云中的1个单位代表1米，但立体相机中的1个单位可能代表20米。

3. Problem formulation 问题表述

CSPC配准的目标是估计可以对齐来自不同类型传感器的两个点云的变换矩阵（旋转R 2 R33、平移t 2 R13和尺度s）。令X 2 RN3 和Y 2 RM3 分别为来自两种不同类型传感器的两个点云。 CSPC注册问题被制定为优化以下目标函数

上述变换矩阵有七个自由度参数：三个角度用于旋转矩阵，三个用于平移，一个用于缩放。求方程的解。由于跨源挑战的严重不良影响，（1）很困难。具体来说，跨源挑战对问题表述（方程1）的影响可以从两个方面讨论：基于优化的方法和基于学习的方法

•
基于优化的方法：离群值、密度差异、部分重叠都会导致对应离群值。这意味着找到的对应关系可能包含大量不准确的点对点对应关系。从大的对应异常值中找到最佳解决方案是很困难的。此外，跨源挑战将影响模型转换精度（例如 GMM）。模型不准确也会导致数据方面基于模型的配准不准确。
•
基于学习的方法：跨源挑战将影响特征提取。例如，噪声和尺度变化将导致不同的局部结构，这反映在不同的提取特征中。如果没有鲁棒的特征和模型，变换估计就很困难。

4. Research progress

根据他们的关键贡献，我们将现有的 CSPC 配准方法分为两类：传统优化方法和深度神经网络方法。图2直观地显示了分类细节，图3说明了CSPC注册发展的时间概览。

图2. CSPC注册从技术角度的分类。

图 3. CSPC 注册方法的时间概述。

由于CSPC注册的研究才刚刚开始，这项研究的价值还没有明确地暴露给社会，我们将在本节中对关键文献进行深入分析，旨在帮助研究人员了解CSPC注册的价值。

4.1. Conventional optimization methods 常规优化方法

传统的基于优化的方法的主要思想是设计鲁棒的优化策略来求解方程。 (1).根据数据处理类型，有两种算法：直接对应方法和基于模型的方法。本节将回顾这些方法的详细信息。

4.1.1. Direct correspondence methods直接对应方式

直接方法直接在原始点云上开发优化策略或手工特征来找到对应关系，然后根据这些对应关系估计变换矩阵。关键的研究问题是如何在跨源挑战下找到点云中的准确对应关系。我们将详细回顾和分析该品类的发展。
[1] 提出了一种 CSPC 配准方法，将小型运动结构 (SFM) 点云与大型街景 LiDAR 点云对齐。关键贡献在于几种预处理策略和注册部分利用了 ICP。具体来说，在大型激光雷达点云中裁剪了许多多尺度区域。然后，为这些裁剪的点云和SFM点云提取全局ESF描述符。之后，选择前 10 个匹配的裁剪区域作为 SFM 点云。最后，应用迭代最近点（ICP）算法进一步细化前10个匹配关系，并根据细化的配准误差更新顺序。最终的顶部配准区域是LiDAR点云中SFM点云的最佳对齐区域。该方法可以有效解决跨源点云之间的定位问题。

[10]利用基于地面控制点（GCP）的点云配准方法来合并来自两种3D遥感技术（LiDAR和SFM）的点云。他们发现，结合来自两个或多个平台的点云数据可以比单独使用任何单一技术更准确地测量植被。该方法融合了多个传感器的优点，有利于农业应用。
[11]提出了一种表面匹配优化，以在地图构建中利用 CSPC。具体来说，提出了一种新方法，通过将表示源云的每个局部表面的点与表示目标云中相应局部表面的点进行匹配来超越密度的概念。该方法展示了 CSPC 配准对于机器人地图重建的好处。
[12]提出了一种手工特征和一种优化策略来配准 MLC 和摄影测量跨源点云。具体来说，提取线性特征以消除这些跨源点云中的噪声，并提出二维增量配准策略来简化复杂的配准过程。实验表明，CSPC配准方法融合了多种传感器的优点，为摄影测量的应用做出了很大贡献。
[13]提出了一种CSPC配准方法来解决地面激光扫描点云中的遮挡问题。该方法将通过结合两种传感器来增强细节。利用基于多视图投影的空缺填充策略来修复细节的完整性。首先，应用几个预处理步骤从不同来源提取相应的互补点云。然后，利用拉普拉斯微分坐标来对齐这些跨源点云。实验表明，CSPC注册在测量领域取得了令人印象深刻的修复完整性。
OneSac [14] 是一种利用样本共识策略的新颖优化方法，显示出克服跨源挑战的能力。首先，完整的七参数配准问题被分解为三个子问题，即旋转、平移和尺度估计。其次，提出了一种单点随机样本一致性（RANSAC）算法来估计平移和尺度参数。第三，提出了尺度退火双权估计器，以估计尺度和平移的先验来估计旋转。他们的实验表明，所提出的算法在跨源点云中效果良好。

4.1.2. Model-based methods

由于原始跨源点云变化较大，另一类是将原始点云配准转化为模型对齐问题。典型的例子是 GMM 和图。下面我们将详细回顾和分析该品类的发展。
黄等人。 [15]提出了一种利用跨源点云的统计特性来克服跨源挑战的CSPC配准方法。具体来说，应用高斯混合模型（GMM）方法来代替[1]中的ICP。该方法将配准问题转化为GMM恢复问题。实验表明，该统计模型比直接利用原始点具有更好的鲁棒性。然而，该方法使用下采样来处理密度差异，并假设包含的球相同以标准化尺度差异。这两个预处理步骤很难推广到大规模部分重叠的点云。如何开发鲁棒且通用的预处理策略仍然是一个研究问题。
黄等人。 [3]通过将尺度估计集成到GMM恢复过程中，进一步发展了这种基于GMM的方法[15]。具体来说，提出了缩放 GMM 来估计两个点云之间的仿射变换矩阵。他们可以自动恢复之间的比例差异[0.5,2]。他们的实验表明，基于 GMM 的方法在定位区域和估计姿态方面获得了快速和准确的结果。然而，仍然需要下采样预处理步骤。如果没有这个预处理步骤，当点数变大时，内存消耗将非常巨大。如何减少内存消耗还需要进一步的工作？最近的工作[19]、[20]将GMM与深度学习结合起来，这个研究方向可能会克服这个问题。
除了基于 GMM 的方法之外，CSGM [2] 是一种 CSPC 方法，将配准问题转换为图匹配问题，以克服跨源挑战。具体来说，应用超体素方法将跨源点云分割成许多超体素。中心点和这些超体素之间的关系被视为节点和边来构造两个图。然后，提出一种改进的图匹配算法，通过考虑邻居的相干对应关系来查找节点对应关系。最后，应用ICP进一步细化配准结果。该方法的局限性在于需要分割来解决密度差并且仅考虑两个点来约束图节点对应搜索。

为了解决上述限制，GCTR[17]提出了一种CSPC配准方法，考虑更多的邻居对应约束，并将配准问题转化为高阶图匹配问题。 具体来说，提取三元组对应作为潜在的对应空间并将它们集成到张量中。 然后，提出了幂迭代算法来解决这两个点云之间的对应关系。 由于该方法考虑了更严格的约束，实验表明比之前基于图匹配的CSPC配准算法具有更鲁棒的配准性能。 然而，分割会花费大量的时间，并且性能与超参数（分割数）高度相关。

最近，[16]提出了一种配准方法，用于对齐从立体/多立体卫星图像生成的俯瞰点云和从单目视频图像生成的街景点云。所提出的 CSPC 配准算法将建筑物分割为图节点，并为基于卫星和基于街景的点云构建两个图。然后，将配准问题转换为图匹配问题，以便利用这些线段之间的拓扑关系来对齐这两个点云。最后，基于匹配的图节点，对街景图像进行约束束调整以保持 2D-3D 一致性，从而生成配准良好的街景图像和点云到卫星点云。局限性在于准确性依赖于建筑物分割的准确性。

4.1.3. Summary and trends

上述基于优化的方法是当前现有CSPC注册解决方案的主要分支。现有方法侧重于优化策略设计，例如图匹配和GMM优化。基于上述文献分析，我们发现现有方法大多数依赖于预处理步骤来减少跨源挑战对同源相似水平的不良影响。然后，应用同源优化策略或手工特征来解决配准问题。当前现有的基于优化的方法可以对齐一些跨源点云的示例，但尚未在实验中得到广泛证明。稳健性和准确性仍然是一个研究问题。
这些方法的优点有两个：首先，问题的目标函数明确，泛化能力可预测。其次，不需要训练样本，部署简单。基于优化的方法的局限性从两个方面显而易见：首先，鲁棒性仍然是一个问题。**现有方法需要许多预处理步骤来减少跨源挑战的影响。然后，根据处理后的点云设计点云配准算法。准确率很大程度上取决于预处理的质量。**其次，当点数量增加时，效率仍然是一个问题，而点云通常包含大量点。
最先进的 CSPC 注册方法是 oneSac [14] 和 GCTR [17]，它们是样本一致性方法和基于高阶图匹配的算法。然而，目前最先进的算法距离实际应用还很远，因为效率和准确性都需要更先进的研究工作。通过下采样到更少的点来保证当前效率。这会影响注册的准确性。
研究趋势是开发更稳健的数学框架来解决配准问题。此外，需要一种稳健的策略来提高效率而不损失准确性。最后但并非最不重要的一点是，强大的预处理策略设计也是解决 CSPC 注册问题的一种有前途的方法。

4.2. Deep neural network methods深度神经网络方法

深度神经网络方法的主要思想是利用深度神经网络提取跨源点云的特征。 然后，基于基于特征的对应关系或直接从特征回归来估计变换矩阵。 有两种基于学习的方法。 第一种是学习每个点的判别描述符。 第二种是直接学习变换矩阵。

4.2.1. Feature learning methods特征学习方法

该类别旨在设计神经网络来提取鲁棒的点描述符。
最近，有许多可用的点描述符，例如 FCGF [21]、D3Feat [22] 和 SpinNet [23]。然而，这些点描述符在跨源点云中都面临着挑战。例如，FCGF 和 SpinNet 需要体素化预处理步骤。此步骤需要指定体素大小。然而，体素大小很难具体确定，因为跨源点云存在尺度差异。 D3Feat 需要 k 个最近邻来构建特征。然而，当发生较大的密度差异时，该描述符将失效。
除了前面提到的点描述符之外，还有几种方法侧重于特征匹配。深度全局配准（DGR）[5]设计了一个 UNet 架构来分类点对是否对应。如果这对是正确的对应关系，我们就将它们识别为内部值，否则将其识别为异常值。该管道将特征匹配问题转换为二元分类问题（内部值/异常值）。遵循此流程，PointDSC [24] 使用两个点对来考虑二阶约束，OKHF[25] 考虑三阶约束。此外，最近的方法 RPMNet [26] 和 IDAM [27] 在部分点云上显示出有希望的配准结果。然而，对这些方法的详细讨论超出了本文的范围，请参阅同源点云配准调查以获取更多信息[7]。
刘等人。 [18]提出了一种网络 2D3D-GAN-Net，用于学习 2D 图像块和 3D 点云卷的局部不变跨域特征描述符。然后，学习的局部不变跨域特征描述符用于匹配 2D 图像和 3D 点云。生成对抗网络（GAN）被嵌入到2D3D-GAN-Net中，用于区分学习到的特征描述符的来源，有利于提取不变的局部跨域特征描述符。实验表明，2D3D-GAN-Net 学习的局部跨域特征描述符具有鲁棒性，可用于 2D 图像块和 3D 点云体积数据集的跨维检索。此外，学习的 3D 特征描述符用于配准点云，以证明学习的本地跨域特征描述符的鲁棒性。

4.2.2. Transformation learning methods 转化学习方法

变换学习方法旨在直接使用神经网络来估计变换。
跨源点云配准没有具体的变换学习方法。根据我们的调查，**FMR [8] 提出了一种特征度量配准方法，通过最小化特征度量投影误差来对齐两个点云。这是目前唯一显示出通过直接估计变换来解决 CSPC 配准问题的潜力的方法。**具体来说，FMR 使用 PointNet（没有 T-Net）来提取两个点云的全局特征。然后，将特征度量投影误差计算为两个点云的特征差。之后，应用 Lukas-Kanadle (LK) 算法来估计变换增量。这个过程迭代运行10次，得到最终的变换。

4.2.3. Summary and trends

尽管进行了几次初步试验，但 CSPC 注册的准确性和稳健性都需要显着提高。利用神经网络解决CSPC配准问题的研究几乎是一片空白。这一研究分支一直被忽视。原因可能是目前的开放数据集都是同源的，并且CSPC注册的价值还没有明确地暴露给社区。
当前最先进的算法是 2D3D-GAN-Net。该方法的优点是快速且相对准确。然而，其局限性在于对未见过的场景的泛化性能。
趋势可能包括三个方面。首先，没有可用的大规模跨源数据集。这是阻碍神经网络在该领域发展的大石头。大规模跨源数据集是一个紧迫的研究方向。其次，还需要一个能够应对跨源挑战的点描述符。如何利用多模态信息[33]、[34]、[35]或预训练模型[36]、[37]来提高点描述符的能力。第三，从效率和准确性的要求来看，还需要一个用于CSPC注册的端到端学习框架。

4.3. Comparison of conventional and learning methods 传统方法与学习方法的比较

现有的传统方法需要几个预处理步骤来消除异常值、密度和尺度差异。这些步骤通常非常耗时并且需要大量的手动工作。鲁棒性和准确性都需要进一步的研究工作来提高。相比之下，基于学习的方法需要很少的预处理步骤并且效率很高。然而，基于学习的方法仅仅处于起点。需要开展许多研究工作来促进该领域的发展。

4.4. Performance evaluation and analysis

当前现有的跨源点云配准方法在不同的设置和基准下进行评估。为了更好地评估性能并研究该领域的发展，我们在跨源基准上评估当前的跨源点云配准[7]。由于现有的很多跨源点云配准方法的代码尚未公开，我们仅对其方法中开源的关键组件进行比较。 [1]、[10]、[11]、[12]、[13]、[14]、[15]使用ICP来配准跨源点云。我们选择在Open3D中实现的ICP。 OneSac[14]是一种改进的RANSAC，我们尝试实现它但未能获得可比较的结果。相反，我们选择在 Open3D 中实现的 RANSAC。我们还与 GCTR [17]、基于 GMM 的方法 [15] 和 FMR [8] 进行比较。此外，我们已将 RPMNet[26] 和 IDAM[27] 纳入我们的基准测试中，因为它们也显示出对齐跨源点云的能力。我们还评估了特征匹配方法，包括基于学习的（例如，DGR [5]）和基于优化的（例如，FGR [28]）方法。我们使用DGR中的评估指标来评估它们在3DCSR数据集上的性能，结果如表3所示。

表 3. 跨源点云配准基准 3DCSR 的性能评估。

表3表明，当前的跨源点云配准方法面临着处理种类繁多的跨源点云的困难。泛化是一个有待解决的大问题。 DGR达到了目前最高的泛化精度，仅为36.6%。在这个新的GPT时代，开发高泛化注册算法是一个紧迫的研究问题，可以在许多应用中使广大受众受益。

5. Open research directions

基于上述文献分析，针对CSPC注册问题有以下几个研究方向。

5.1. Benchmark of CSPC registration CSPC注册基准

根据上述第4节的调查，我们发现评价并不统一。 不同的方法使用自己的数据和指标进行评估。 迫切需要提出一个基准来公平地评估CSPC注册并促进该领域的算法发展。
可能的解决方案是利用室外数据库中的 RGB 图像和 LiDAR 数据来构建跨源数据集。 另一种方法是使用两种 3D 传感器（例如英特尔实感和 LiDAR）来捕获大规模数据集来构建基准。

5.2. Robust pre-processing strategies 强大的预处理策略

跨源挑战包含密度、异常值和尺度差异的巨大变化。这些巨大的变化是导致现有最先进的同源点云配准算法失败的关键因素。基于上述文献分析，现有的基于优化的方法大多利用预处理策略使原始跨源点云与同源点云相似。**然后，成熟的同源点云配准方法[28]、[29]、[30]、[31]、[32]可以处理这些处理后的数据。**例如，如果预处理策略可以处理密度和尺度变量，那么众所周知的同源方法 TEASER [29] 可以很好地处理这些预处理的点云。此外，最近的方法[32]是利用进化理论进行多视点云配准的里程碑式的工作，可以在对齐多视点云方面发挥作用。然而，当前的预处理策略对于一般情况仍然需要改进。
因此，研究方向之一是预处理策略的开发，旨在减少密度、异常值和尺度变化的不良影响。困难在于这些变化非常显着并且通常是混合的。如果预处理步骤做得很好，我们可以利用现有的同源点云配准算法。

5.3. Learning-based algorithms 基于学习的算法

利用神经网络的性能是解决 CSPC 配准问题的另一个研究方向。开发基于学习的方法有两种选择。
首先，对于跨源点云来说，迫切需要一个强大的基于学习的描述符。深度学习很大程度上推动了同源点云配准的性能提升[21]、[22]。 CSPC 注册中基于学习的开发描述符在提高准确性和效率方面将非常有前景。挑战是如何通过同时克服密度和尺度差异来提取描述符。
其次，基于端到端学习的方法是利用深度学习的另一个研究方向。现有的同源点云配准研究[5]表明，基于端到端学习的方法将实现高精度和高效率。

6. Applications

由于CSPC注册是一种可以利用多种传感器优点的技术，因此具有广泛的应用范围。本节介绍其在几个应用领域中的作用。这将为如何在实际应用中使用研究技术以及为什么 CSPC 注册从应用方面是一个重要的研究问题提供见解。

6.1. Robotics

在机器人领域，3D点云被广泛使用[11]。 由于LiDAR点云具有快速、准确的优点，该传感器通常用于生成地图，提供基本的环境信息。 在应用中，利用更便宜的传感器（例如英特尔实感）来获取详细的点云。 这两类传感器数据之间的注册能够构建详细的地图或提供消费者负担得起的服务，例如定位。 最近，自动驾驶是机器人技术的一个活跃分支，它在视觉系统中使用多个传感器。 CSPC注册为自动驾驶领域的3D数据利用提供了解决方案。 例如，详细的 3D 地图重建和 GPS 无法识别区域中基于视觉的准确定位。 其中，准确、快速、高效的CSPC注册是关键。 该领域的研究非常及时，对于现场机器人技术具有很高的价值。

6.2. Remote sensing

3D点云在森林[12]、农业[10]和调查[13]等遥感领域具有很高的价值。这些应用，例如遥感旱地生态系统中草本和木本植被的近期生长、食草或干扰，需要高空间分辨率和多时相深度点云。考虑到仪器的地面样本距离和采集的难易程度，激光雷达等三维 (3D) 遥感技术和 SFM 摄影测量等技术在检测植被体积和范围方面各有优缺点。然而，平台和技术的组合可能会提供克服单一平台弱点的解决方案。与单独使用任何单一技术相比，结合来自两个或多个平台的点云数据和导数（即网格和栅格）可以更准确地测量地面元素（例如草本和木本植被的高度和冠层覆盖度）。因此，开展CSPC登记在遥感领域具有很高的价值。

6.3. Construction

BIM（建筑信息模型）是一种生成信息存储和操纵系统的新方法，广泛用于建筑目的和建筑管理。以前的计算机辅助 BIM 设计仅限于简单的指南和理论规划，因为不需要与真实的物理世界进行任何交互。最近，点云可以克服这一限制，并提供将数字模型与物理空间详细对齐的能力。原因是点云提供了将 3D 物理空间有效导入数字格式并增强现有数字模型的能力。
比较实时 LiDAR 点云和 BIM 可以生成有价值的信息。例如，建筑质量检查。利用建筑领域知识开发快速、高精度的 CSPC 配准算法是及时的，将为建筑领域做出贡献。

7. Conclusion

CSPC注册是随着传感器技术的快速发展而出现的3D领域的一个新兴研究课题。它可以结合多种传感器的优点，克服单一传感器的局限性。 CSPC的注册将以新的方式推动3D重建和基于视觉的定位等计算机视觉任务的发展，并对许多应用领域做出重大贡献。仍有许多剩余的研究问题有待解决。我们希望这篇调查论文能够概述 CSPS 注册到 3D 计算机视觉社区的挑战、最近的进展和一些未来的方向以及应用领域。

References

1. F. Peng, Q. Wu, L. Fan, J. Zhang, Y. You, J. Lu, J.-Y. Yang

   Street view cross-sourced point cloud matching and registration

   2014 IEEE International Conference on Image Processing (ICIP), IEEE (2014), pp. 2026-2030

   [View at publisher ](javascript:😉

   CrossRefView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Street view cross-sourced point cloud matching and registration&publication_year=2014&author=F. Peng&author=Q. Wu&author=L. Fan&author=J. Zhang&author=Y. You&author=J. Lu&author=J.-Y. Yang)

2. [2]

   X. Huang, J. Zhang, L. Fan, Q. Wu, C. Yuan

   A systematic approach for cross-source point cloud registration by preserving macro and micro structures

   IEEE Trans. Image Process., 26 (7) (2017), pp. 3261-3276

   View in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=A systematic approach for cross-source point cloud registration by preserving macro and micro structures&publication_year=2017&author=X. Huang&author=J. Zhang&author=L. Fan&author=Q. Wu&author=C. Yuan)

3. [3]

   X. Huang, J. Zhang, Q. Wu, L. Fan, C. Yuan

   A coarse-to-fine algorithm for matching and registration in 3d cross-source point clouds

   IEEE Trans. Circuits Syst. Video Technol., 28 (10) (2017), pp. 2965-2977

   [Google Scholar](https://scholar.google.com/scholar_lookup?title=A coarse-to-fine algorithm for matching and registration in 3d cross-source point clouds&publication_year=2017&author=X. Huang&author=J. Zhang&author=Q. Wu&author=L. Fan&author=C. Yuan)

4. [4]

   N. Mellado, M. Dellepiane, R. Scopigno

   Relative scale estimation and 3d registration of multi-modal geometry using growing least squares

   IEEE Trans. Visualiz. Comput. Graph., 22 (9) (2015), pp. 2160-2173

   [Google Scholar](https://scholar.google.com/scholar_lookup?title=Relative scale estimation and 3d registration of multi-modal geometry using growing least squares&publication_year=2015&author=N. Mellado&author=M. Dellepiane&author=R. Scopigno)

5. [5]

   C. Choy, W. Dong, V. Koltun, Deep global registration, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 2514–2523.

   [Google Scholar](https://scholar.google.com/scholar?q=C. Choy%2C W. Dong%2C V. Koltun%2C Deep global registration%2C in%3A Proceedings of the IEEE%2FCVF conference on computer vision and pattern recognition%2C 2020%2C pp. 2514–2523.)

6. [6]

   A. Zeng, S. Song, M. Nießner, M. Fisher, J. Xiao, T. Funkhouser, 3dmatch: Learning local geometric descriptors from rgb-d reconstructions, in: Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 1802–1811.

   [Google Scholar](https://scholar.google.com/scholar?q=A. Zeng%2C S. Song%2C M. Nießner%2C M. Fisher%2C J. Xiao%2C T. Funkhouser%2C 3dmatch%3A Learning local geometric descriptors from rgb-d reconstructions%2C in%3A Proceedings of the IEEE conference on computer vision and pattern recognition%2C 2017%2C pp. 1802–1811.)

7. [7]

   X. Huang, G. Mei, J. Zhang, R. Abbas, A comprehensive survey on point cloud registration, arXiv preprint arXiv:2103.02690.

   [Google Scholar](https://scholar.google.com/scholar?q=X. Huang%2C G. Mei%2C J. Zhang%2C R. Abbas%2C A comprehensive survey on point cloud registration%2C arXiv preprint arXiv%3A2103.02690.)

8. [8]

   X. Huang, G. Mei, J. Zhang, Feature-metric registration: A fast semi-supervised approach for robust point cloud registration without correspondences, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 11366–11374.

   [Google Scholar](https://scholar.google.com/scholar?q=X. Huang%2C G. Mei%2C J. Zhang%2C Feature-metric registration%3A A fast semi-supervised approach for robust point cloud registration without correspondences%2C in%3A Proceedings of the IEEE%2FCVF Conference on Computer Vision and Pattern Recognition%2C 2020%2C pp. 11366–11374.)

9. [9]

   Q.-Y. Zhou, V. Koltun

   Color map optimization for 3d reconstruction with consumer depth cameras

   ACM Trans. Graph. (ToG), 33 (4) (2014), pp. 1-10

   [Google Scholar](https://scholar.google.com/scholar_lookup?title=Color map optimization for 3d reconstruction with consumer depth cameras&publication_year=2014&author=Q.-Y. Zhou&author=V. Koltun)

10. [10]

    T.L. Swetnam, J.K. Gillan, T.T. Sankey, M.P. McClaran, M.H. Nichols, P. Heilman, J. McVay

    Considerations for achieving cross-platform point cloud data fusion across different dryland ecosystem structural states

    Front. Plant Sci., 8 (2018), p. 2144

    View in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Considerations for achieving cross-platform point cloud data fusion across different dryland ecosystem structural states&publication_year=2018&author=T.L. Swetnam&author=J.K. Gillan&author=T.T. Sankey&author=M.P. McClaran&author=M.H. Nichols&author=P. Heilman&author=J. McVay)

11. [11]

    M.L. Tazir, T. Gokhool, P. Checchin, L. Malaterre, L. Trassoudaine

    Cicp: Cluster iterative closest point for sparse–dense point cloud registration

    Robot. Autonomous Syst., 108 (2018), pp. 66-86

    [Google Scholar](https://scholar.google.com/scholar_lookup?title=Cicp%3A Cluster iterative closest point for sparsedense point cloud registration&publication_year=2018&author=M.L. Tazir&author=T. Gokhool&author=P. Checchin&author=L. Malaterre&author=L. Trassoudaine)

12. [12]

    S. Li, X. Ge, S. Li, B. Xu, Z. Wang

    Linear-based incremental co-registration of mls and photogrammetric point clouds

    Remote Sens., 13 (11) (2021), p. 2195

    [View at publisher ](javascript:😉

    CrossRefView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Linear-based incremental co-registration of mls and photogrammetric point clouds&publication_year=2021&author=S. Li&author=X. Ge&author=S. Li&author=B. Xu&author=Z. Wang)

13. [13]

    S. Li, X. Ge, H. Hu, Q. Zhu

    Laplacian fusion approach of multi-source point clouds for detail enhancement

    ISPRS J. Photogrammetry Remote Sens., 171 (2021), pp. 385-396

    View PDFView articleCrossRef[Google Scholar](https://scholar.google.com/scholar_lookup?title=Laplacian fusion approach of multi-source point clouds for detail enhancement&publication_year=2021&author=S. Li&author=X. Ge&author=H. Hu&author=Q. Zhu)

14. [14]

    J. Li, Q. Hu, M. Ai, Point cloud registration based on one-point ransac and scale-annealing biweight estimation, IEEE Transactions on Geoscience and Remote Sensing.

    [Google Scholar](https://scholar.google.com/scholar?q=J. Li%2C Q. Hu%2C M. Ai%2C Point cloud registration based on one-point ransac and scale-annealing biweight estimation%2C IEEE Transactions on Geoscience and Remote Sensing.)

15. [15]

    X. Huang, J. Zhang, Q. Wu, L. Fan, C. Yuan

    A coarse-to-fine algorithm for registration in 3d street-view cross-source point clouds

    2016 International Conference on Digital Image Computing: Techniques and Applications (DICTA), IEEE (2016), pp. 1-6

    [Google Scholar](https://scholar.google.com/scholar_lookup?title=A coarse-to-fine algorithm for registration in 3d street-view cross-source point clouds&publication_year=2016&author=X. Huang&author=J. Zhang&author=Q. Wu&author=L. Fan&author=C. Yuan)

16. [16]

    X. Ling, R. Qin

    A graph-matching approach for cross-view registration of over-view and street-view based point clouds

    ISPRS J. Photogramm. Remote Sens., 185 (2022), pp. 2-15

    View PDFView articleView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=A graph-matching approach for cross-view registration of over-view and street-view based point clouds&publication_year=2022&author=X. Ling&author=R. Qin)

17. [17]

    X. Huang, L. Fan, Q. Wu, J. Zhang, C. Yuan

    Fast registration for cross-source point clouds by using weak regional affinity and pixel-wise refinement

    2019 IEEE International Conference on Multimedia and Expo (ICME), IEEE (2019), pp. 1552-1557

    [View at publisher ](javascript:😉

    CrossRefView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Fast registration for cross-source point clouds by using weak regional affinity and pixel-wise refinement&publication_year=2019&author=X. Huang&author=L. Fan&author=Q. Wu&author=J. Zhang&author=C. Yuan)

18. [18]

    W. Liu, B. Lai, C. Wang, X. Bian, C. Wen, M. Cheng, Y. Zang, Y. Xia, J. Li

    Matching 2d image patches and 3d point cloud volumes by learning local cross-domain feature descriptors

    2021 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), IEEE (2021), pp. 516-517

    [View at publisher ](javascript:😉

    CrossRef[Google Scholar](https://scholar.google.com/scholar_lookup?title=Matching 2d image patches and 3d point cloud volumes by learning local cross-domain feature descriptors&publication_year=2021&author=W. Liu&author=B. Lai&author=C. Wang&author=X. Bian&author=C. Wen&author=M. Cheng&author=Y. Zang&author=Y. Xia&author=J. Li)

19. [19]

    W. Yuan, B. Eckart, K. Kim, V. Jampani, D. Fox, J. Kautz

    Deepgmr: Learning latent gaussian mixture models for registration

    European conference on computer vision, Springer (2020), pp. 733-750

    [View at publisher ](javascript:😉

    CrossRefView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Deepgmr%3A Learning latent gaussian mixture models for registration&publication_year=2020&author=W. Yuan&author=B. Eckart&author=K. Kim&author=V. Jampani&author=D. Fox&author=J. Kautz)

20. [20]

    X. Huang, S. Li, Y. Zuo, Y. Fang, J. Zhang, X. Zhao, Unsupervised point cloud registration by learning unified gaussian mixture models, IEEE Robotics and Automation Letters.

    [Google Scholar](https://scholar.google.com/scholar?q=X. Huang%2C S. Li%2C Y. Zuo%2C Y. Fang%2C J. Zhang%2C X. Zhao%2C Unsupervised point cloud registration by learning unified gaussian mixture models%2C IEEE Robotics and Automation Letters.)

21. [21]

    C. Choy, J. Park, V. Koltun, Fully convolutional geometric features, in: Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019, pp. 8958–8966.

    [Google Scholar](https://scholar.google.com/scholar?q=C. Choy%2C J. Park%2C V. Koltun%2C Fully convolutional geometric features%2C in%3A Proceedings of the IEEE%2FCVF International Conference on Computer Vision%2C 2019%2C pp. 8958–8966.)

22. [22]

    X. Bai, Z. Luo, L. Zhou, H. Fu, L. Quan, C.-L. Tai, D3feat: Joint learning of dense detection and description of 3d local features, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 6359–6367.

    [Google Scholar](https://scholar.google.com/scholar?q=X. Bai%2C Z. Luo%2C L. Zhou%2C H. Fu%2C L. Quan%2C C.-L. Tai%2C D3feat%3A Joint learning of dense detection and description of 3d local features%2C in%3A Proceedings of the IEEE%2FCVF Conference on Computer Vision and Pattern Recognition%2C 2020%2C pp. 6359–6367.)

23. [23]

    S. Ao, Q. Hu, B. Yang, A. Markham, Y. Guo, Spinnet: Learning a general surface descriptor for 3d point cloud registration, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 11753–11762.

    [Google Scholar](https://scholar.google.com/scholar?q=S. Ao%2C Q. Hu%2C B. Yang%2C A. Markham%2C Y. Guo%2C Spinnet%3A Learning a general surface descriptor for 3d point cloud registration%2C in%3A Proceedings of the IEEE%2FCVF Conference on Computer Vision and Pattern Recognition%2C 2021%2C pp. 11753–11762.)

24. [24]

    X. Bai, Z. Luo, L. Zhou, H. Chen, L. Li, Z. Hu, H. Fu, C.-L. Tai, Pointdsc: Robust point cloud registration using deep spatial consistency, in: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. 15859–15869.

    [Google Scholar](https://scholar.google.com/scholar?q=X. Bai%2C Z. Luo%2C L. Zhou%2C H. Chen%2C L. Li%2C Z. Hu%2C H. Fu%2C C.-L. Tai%2C Pointdsc%3A Robust point cloud registration using deep spatial consistency%2C in%3A Proceedings of the IEEE%2FCVF Conference on Computer Vision and Pattern Recognition%2C 2021%2C pp. 15859–15869.)

25. [25]

    X. Huang, Y. Wang, S. Li, G. Mei, Z. Xu, Y. Wang, J. Zhang, M. Bennamoun

    Robust real-world point cloud registration by inlier detection

    Comput. Vis. Image Underst., 224 (2022), Article 103556

    View PDFView articleView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=Robust real-world point cloud registration by inlier detection&publication_year=2022&author=X. Huang&author=Y. Wang&author=S. Li&author=G. Mei&author=Z. Xu&author=Y. Wang&author=J. Zhang&author=M. Bennamoun)

26. [26]

    Z.J. Yew, G.H. Lee, Rpm-net: Robust point matching using learned features, in: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2020, pp. 11824–11833.

    [Google Scholar](https://scholar.google.com/scholar?q=Z.J. Yew%2C G.H. Lee%2C Rpm-net%3A Robust point matching using learned features%2C in%3A Proceedings of the IEEE%2FCVF conference on computer vision and pattern recognition%2C 2020%2C pp. 11824–11833.)

27. [27]

    J. Li, C. Zhang, Z. Xu, H. Zhou, C. Zhang, Iterative distance-aware similarity matrix convolution with mutual-supervised point elimination for efficient point cloud registration, in: Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXIV 16, Springer, 2020, pp. 378–394.

    [Google Scholar](https://scholar.google.com/scholar?q=J. Li%2C C. Zhang%2C Z. Xu%2C H. Zhou%2C C. Zhang%2C Iterative distance-aware similarity matrix convolution with mutual-supervised point elimination for efficient point cloud registration%2C in%3A Computer Vision–ECCV 2020%3A 16th European Conference%2C Glasgow%2C UK%2C August 23–28%2C 2020%2C Proceedings%2C Part XXIV 16%2C Springer%2C 2020%2C pp. 378–394.)

28. [28]

    Q.-Y. Zhou, J. Park, V. Koltun, Fast global registration, in: Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part II 14, Springer, 2016, pp. 766–782.

    [Google Scholar](https://scholar.google.com/scholar?q=Q.-Y. Zhou%2C J. Park%2C V. Koltun%2C Fast global registration%2C in%3A Computer Vision–ECCV 2016%3A 14th European Conference%2C Amsterdam%2C The Netherlands%2C October 11–14%2C 2016%2C Proceedings%2C Part II 14%2C Springer%2C 2016%2C pp. 766–782.)

29. [29]

    H. Yang, J. Shi, L. Carlone

    Teaser: Fast and certifiable point cloud registration

    IEEE Trans. Rob., 37 (2) (2020), pp. 314-333

    [Google Scholar](https://scholar.google.com/scholar_lookup?title=Teaser%3A Fast and certifiable point cloud registration&publication_year=2020&author=H. Yang&author=J. Shi&author=L. Carlone)

30. [30]

    Y. Wu, H. Ding, M. Gong, A. Qin, W. Ma, Q. Miao, K.C. Tan, Evolutionary multiform optimization with two-stage bidirectional knowledge transfer strategy for point cloud registration, IEEE Transactions on Evolutionary Computation.

    [Google Scholar](https://scholar.google.com/scholar?q=Y. Wu%2C H. Ding%2C M. Gong%2C A. Qin%2C W. Ma%2C Q. Miao%2C K.C. Tan%2C Evolutionary multiform optimization with two-stage bidirectional knowledge transfer strategy for point cloud registration%2C IEEE Transactions on Evolutionary Computation.)

31. [31]

    Y. Wu, Y. Zhang, X. Fan, M. Gong, Q. Miao, W. Ma, Inenet: Inliers estimation network with similarity learning for partial overlapping registration, IEEE Transactions on Circuits and Systems for Video Technology.

    [Google Scholar](https://scholar.google.com/scholar?q=Y. Wu%2C Y. Zhang%2C X. Fan%2C M. Gong%2C Q. Miao%2C W. Ma%2C Inenet%3A Inliers estimation network with similarity learning for partial overlapping registration%2C IEEE Transactions on Circuits and Systems for Video Technology.)

32. [32]

    Y. Wu, Y. Liu, M. Gong, P. Gong, H. Li, Z. Tang, Q. Miao, W. Ma, Multi-view point cloud registration based on evolutionary multitasking with bi-channel knowledge sharing mechanism, IEEE Transactions on Emerging Topics in Computational Intelligence.

    [Google Scholar](https://scholar.google.com/scholar?q=Y. Wu%2C Y. Liu%2C M. Gong%2C P. Gong%2C H. Li%2C Z. Tang%2C Q. Miao%2C W. Ma%2C Multi-view point cloud registration based on evolutionary multitasking with bi-channel knowledge sharing mechanism%2C IEEE Transactions on Emerging Topics in Computational Intelligence.)

33. [33]

    M. Yuan, X. Huang, K. Fu, Z. Li, M. Wang, Boosting 3D Point Cloud Registration by Transferring Multi-modality Knowledge, arXiv preprint arXiv:2302.05210 (2023).

    [Google Scholar](https://scholar.google.com/scholar?q=M. Yuan%2C X. Huang%2C K. Fu%2C Z. Li%2C M. Wang%2C Boosting 3D Point Cloud Registration by Transferring Multi-modality Knowledge%2C arXiv preprint arXiv%3A2302.05210 (2023).)

34. [34]

    X. Huang, W. Qu, Y. Zuo, Y. Fang, X. Zhao

    IMFNet: Interpretable multimodal fusion for point cloud registration

    IEEE Robotics and Automation Letters,7(4) (2022), pp. 12323-12330

    [View at publisher ](javascript:😉

    CrossRefView in Scopus[Google Scholar](https://scholar.google.com/scholar_lookup?title=IMFNet%3A Interpretable multimodal fusion for point cloud registration&publication_year=2022&author=X. Huang&author=W. Qu&author=Y. Zuo&author=Y. Fang&author=X. Zhao)

35. [35]

    X. Huang, W. Qu, Y. Zuo, Y. Fang, X. Zhao, GMF: General Multimodal Fusion Framework for Correspondence Outlier Rejection, IEEE Robotics and Automation Letters, 7(4)(2022)12585-12592.

    [Google Scholar](https://scholar.google.com/scholar?q=X. Huang%2C W. Qu%2C Y. Zuo%2C Y. Fang%2C X. Zhao%2C GMF%3A General Multimodal Fusion Framework for Correspondence Outlier Rejection%2C IEEE Robotics and Automation Letters%2C 7(4)(2022)12585-12592.)

36. [36]

    T. Huang, B. Dong, Y. Yang, X. Huang, R. Lau, W. Ouyang, W. Zuo, Clip2point: Transfer clip to point cloud classification with image-depth pre-training, arXiv preprint arXiv:2210.01055 (2022).

    [Google Scholar](https://scholar.google.com/scholar?q=T. Huang%2C B. Dong%2C Y. Yang%2C X. Huang%2C R. Lau%2C W. Ouyang%2C W. Zuo%2C Clip2point%3A Transfer clip to point cloud classification with image-depth pre-training%2C arXiv preprint arXiv%3A2210.01055 (2022).)

37. [37]

    X.Huang, S. Li, W. Qu, T. He, Y. Zuo, W. Ouyang, Frozen CLIP Model is Efficient Point Cloud Backbone, arXiv preprint arXiv:2212.04098 (2022).

    [Google Scholar](https://scholar.google.com/scholar?q=X.Huang%2C S. Li%2C W. Qu%2C T. He%2C Y. Zuo%2C W. Ouyang%2C Frozen CLIP Model is Efficient Point Cloud Backbone%2C arXiv preprint arXiv%3A2212.04098 (2022).)