唐木 发自 天龙寺
量子位 报道 | 公众号 QbitAI
作为三维世界更为真实有效的表达,点云在近年来受到了学界和业界的广泛关注。激光雷达和深度相机的大规模应用也为点云的发展创造了丰富的数据条件。
但传感器获得的点云是包含噪声的非均匀稀疏坐标点,无法用现有处理图像的卷积网络直接处理。
在进行渲染、分析和理解之前,我们需要有效的手段对点云进行处理,提高点云数据的质量。
点云天然具有稀疏性和非规则性,对原始点云进行处理生产稠密、完整、均匀的点云上采样任务吸引了众多研究人员的目光。
这复杂的任务不仅需要在非完美输入数据的前提下有效上采样,同时还要补全缺失的空洞和间隙,并改善点云分布的均匀性。
目前已经有多种深度学习方法致力于加密点云提高点云的质量,包括PU-GAN,EC-Net和MPU等方法,但他们在面对极为稀疏和不规则的低质量点云输入时,还是无法恢复出有效的点云结果。
但提升点云的质量有着十分迫切的工业需求,是后续分析处理任务的重要保障。
来自港中文和特拉维夫大学的研究人员在今年的ICCV上提出了一种基于生成对抗的方法PU-GAN,将点云上采样、均匀化点云补全等修复任务集成在了一起,通过训练具有多样性点云生成能力的生成器和高效判别器实现了原始点云的修复和质量提升。
同时为了稳定的训练过程,PU-GAN中还利用up-down-up模块来实现点云特征拓展,并引入了自注意力机制来提升点云整合的质量,实现了点云的良好重建,在密度、完整性和均匀性上