无中生有！GaussianPU：消费级GPU即可完成彩色点云超采样

作者 | Fei Ma  编辑 | 3D视觉之心

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『3DGS』技术交流群

本文只做学术分享，如有侵权，联系删文

点云超采样的瓶颈

点云超采样的早期方法主要依赖优化技术，但这些方法高度依赖点云的先验知识。基于深度学习的点云超采样网络出现并取得了显著成果。代表性方法有：

• 分层学习和多级特征聚合

• 逐步超采样稀疏3D点集的多步骤端到端网络

• 通过GAN框架学习点的多样化分布，确保超采样片段的均匀性

• 引入图卷积网络进行超采样，并进行多尺度特征提取

尽管这些深度学习方法取得了很大进展，但由于计算开销大，难以直接处理大规模点云，现有方法大多仅限于处理小于1,024个点的点云片段。此外，这些方法主要针对几何信息进行超采样，未充分利用彩色点云的颜色特性。

基于点的神经渲染技术早期利用神经网络增强点云渲染，随着NeRF的提出，神经渲染取得了巨大进展。目前，3DGS已成功应用于动态3D场景建模、生成式AI内容和自动驾驶等多个领域，展示了其在低级别点云处理任务中的潜力。

彩色点云通过添加颜色属性增强了传统点云（仅包含几何位置信息）的表现。然而，当前机器人传感器的性能限制通常导致彩色点云稀疏且不均匀，进而不可避免地降低了机器人的感知精度和决策能力。应用超采样技术的目标是生成更稠密、更高质量的彩色点云，从而显著提升机器人对复杂场景的解释能力、识别精细物体的能力以及与周围环境的精确互动能力。

当前先进的点云超采样技术通常采用基于多层感知器（MLPs）的深度学习架构的瓶颈在于：巨大的计算需求以及训练中采用的批处理方法通常要求对点云进行预处理，分割为片段。这些片段随后被用作模型的基本输入单元，正如图1所示。将点云分割为片段的超采样模型可能会在这些片段之间产生不连续性。这些不一致性会损害点云的整体质量和感知体验。这个问题对于包含大量点、旨在用于人类视觉感知的彩色点云尤为重要。

本文介绍的GaussianPU[1]一种用于机器人感知的点云超采样新框架，结合了3D高斯斑点（3DGS）和轻量级2D图像恢复网络。该方法解决了机器人应用中处理大规模点云的挑战。引入了一种双尺度渲染恢复模型来处理稀疏点云渲染中的遮挡不确定性。利用3DGS作为2D图像与3D点云之间的桥梁，再结合插值点云的几何和颜色先验，将恢复的图像转换为高质量的3D点云。框架能够让机器人在消费者级GPU上高效生成大规模彩色点云，增强其对环境的理解能力。

主要贡献如下：

1. 提出了一种结合3DGS和2D渲染图像恢复模型的新型彩色点云超采样框架。该框架解决了传统超采样方法直接处理大规模点云时遇到的挑战。

2. 针对点云渲染图像的前后遮挡问题，提出了一种双尺度渲染恢复方法。对原始3DGS进行的系列改进有效提升了超采样点云的质量，并实现了对超采样点数量的精确控制。

3. 在机器人感知场景中的大量实验表明，所提方法显著增强了稀疏彩色点云的视觉和空间精度，提高了机器人对复杂环境的理解和导航能力。

具体方法

如图2所示。整个超采样框架可分为两个模块：数据准备和3DGS超采样。数据准备阶段包括渲染稀疏点云、重建渲染图像以及插值稀疏点云。接着，重建的渲染图像和插值后的点云，连同相机姿态一起输入到超采样模块中，以获得超采样后的稠密点云。

预备知识

考虑一个由N个点组成的点云P，表示为 ，其中每个点  由一个六维向量表示。这个向量包含两个基本属性：几何属性和颜色属性。几何属性由XYZ坐标表示，定义了每个点在3D空间中的位置，而颜色属性由RGB值表示，提供了点云的视觉外观信息。给定一个稀疏点云  和一个超采样因子 ，目标是生成一个包含  个点的稠密点云 ，并且希望  能够展示出更高的感知质量和几何质量。

点云渲染与渲染图像恢复

点云渲染：在这项工作中，使用Open3D工具来实现点云的渲染。渲染过程的数学表达如下：

其中，PS表示点的大小，IR表示渲染图像的分辨率，T表示相机的外部参数矩阵，具体形式如下：

其中， 和  分别代表相机在图像传感器的水平和垂直方向上的焦距， 和  表示主点坐标，T表示相机的外部参数。

在设置点大小  时，发现不同的点大小各有优劣。正如图3所示，当PS值设置为1时，它保留了更多点云的原始信息。然而，这也会在稀疏点云的渲染中显示出来自点云后方的噪声点，使得图像恢复模型难以区分前景和背景的关系，进而影响恢复网络的表现。相反，较大的PS值可以增强前景与背景之间的区别，但增加了点重叠的可能性，导致点信息的丢失。因此，通过分别使用不同的点大小来渲染点云，将PS设置为1和超采样因子R。

双尺度渲染图像恢复网络：在获得稀疏点云的渲染图像后，使用图像恢复网络恢复稀疏点云的渲染图像，目标是生成与稠密点云渲染效果相当的结果。考虑到轻量化的需求，选择了BRNet作为图像恢复的主干网络。BRNet通过引入均值移位模块来规范化输入图像，从而提升性能。为了结合不同点大小渲染图像的优点并减少其缺点，将FFDNet的输入通道扩展为六个通道，构建了一个双尺度恢复网络。将两种不同点大小的渲染图像拼接后一起输入点云恢复网络，以获得较小尺寸的稠密点云渲染图像。更多关于网络架构的详细信息，请参阅BRNet。在网络训练过程中，考虑到点云渲染图像中存在一定的空白背景区域，对前景和背景区域分配了不同的损失权重，损失函数如下：

其中， 和  分别表示恢复的渲染图像及其真实值，W表示白色像素集（即背景区域，像素值为(1, 1, 1)），O表示其他像素集（即前景区域）。通过设置不同的权重系数 和 ，可以调整前景和背景区域在总损失中的重要性，从而使网络更专注于前景，同时减少背景对整体损失的影响。

高斯插值

为了更好地控制超采样过程中生成的点数量，在将稀疏点云  输入到3DGS超采样模块之前，对其进行高斯插值。为了便于并行计算，使用重参数化采样技术对点云进行高斯插值，具体公式如下：

在这个公式中， 代表点的几何或颜色属性， 表示高斯分布的方差， 表示标准正态分布。对于点云的几何属性，将 设置为点云步长的0.25倍，而对于点云的颜色属性，将 设置为0。通过对稀疏点云中的每个点执行R次重参数化，获得了高斯插值后的点云 ，其点数量是稀疏点云的R倍。

3DGS点云超采样模块

在获得恢复的多视图渲染图像后，利用这些图像进行3DGS超采样。通过优化3DGS，可以根据3D高斯分布中心  和球谐系数  获取点云的几何和颜色信息。然而，原始3DGS生成的点云数量并不固定，难以满足对特定点数量的要求，且生成的点云质量也不尽如人意。为了解决这些问题，对原始的3DGS进行了多项改进，使其更适合点云超采样任务。

通过给定的点云渲染图像及相应的相机姿态，3DGS可以学习以一组3D高斯分布形式表示的3D场景，这使得从任何视角渲染新图像成为可能。为了更好地适应彩色点云的超采样任务并提高感知质量，对原始3DGS框架进行了以下改进：

1. 为了精确实现超采样后期望的点数，在优化过程中禁用了原始3DGS中的克隆、分裂和剪枝操作。这样可以固定3D高斯分布的数量，确保点云中的点数与输入到3DGS超采样模块的插值点云  保持一致。

2. 由于每个点在点云中以相同的大小进行渲染，引入了一个缩放约束，以确保点云整体的一致性。在每次优化迭代中，计算点云中所有点的平均缩放值，并将其分配给所有点，确保它们在渲染过程中具有一致的大小。

3. 除了原始3DGS中的L1距离和DS-SSIM作为优化目标外，还引入了对超采样点云的正则化约束。具体来说，使用高斯插值点云  的颜色信息的L1距离作为颜色约束项。此外，还使用原始稀疏点云  的几何信息的Chamfer距离（CD）作为几何约束项。在超采样过程中，每256步引入Chamfer距离作为几何监督。经过M步后，禁用几何信息的优化，仅优化点云的颜色信息。超采样优化目标如下：

其中， 是权重系数， 和  分别表示点云的颜色和几何属性。通过优化 ，能够生成更加精确的超采样点云。

实验效果

总结一下

GaussianPU是一种新颖的2D-3D混合彩色点云超采样框架，结合了3D高斯斑点技术（3DGS）和2D渲染图像恢复网络。该框架可以在消费级GPU上直接进行大规模彩色点云的超采样，而不需要进行点云分割，从而避免了基于分块处理可能导致的质量下降。此外，提出了双尺度点云渲染图像恢复网络，并对3DGS进行了一系列针对点云超采样任务的改进。这些改进不仅实现了对超采样点数量的精确控制，还显著提高了超采样点云的质量。实验结果表明，在提高稀疏彩色点云的感知和几何质量方面表现出色，并且其处理数百万点的能力表明其在大规模机器人应用（如自主导航和环境建图）中的巨大潜力。

参考

[1] GaussianPU: A Hybrid 2D-3D Upsampling Framework for Enhancing Color Point Clouds via 3D Gaussian Splatting

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵