2024CVPR论文-2-点云质量评估“Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud ”

文章摘要：无参考点云质量评估(Nrpcqa)旨在在没有可用参考的情况下自动评估失真点云的感知质量，由于深度神经网络的利用，取得了巨大的改进。然而，基于学习的nr-pcqa方法存在标记数据的稀缺性，通常在泛化方面表现次优。为了解决这个问题，我们提出了一种新颖的对比预训练框架，专为 pcqa (copa) 量身定制，该框架使模型能够从未标记的数据中学习质量感知表示。为了获得表示空间中的锚点，我们将具有不同失真的点云投影到图像中，并随机混合它们的局部块，形成具有多个失真的混合图像。利用生成的锚点，我们按照感知质量与内容和失真密切相关的思想，通过质量感知对比损失来约束预训练过程。此外，在模型微调阶段，我们提出了一个语义引导的多视图融合模块，从多个角度有效地整合投影图像的特征。大量的实验表明，我们的方法在流行的基准上优于最先进的pcqa方法。进一步的研究表明，copa 还可以有益于现有的基于学习的 pcqa 模型。

结论：在本文中，我们提出了一种新的基于对比学习的无参考点云质量方法。利用局部patch混合生成锚点而不损害失真模式，提出的copa通过内容和失真对比学习质量感知表示。此外，在微调阶段，我们使用语义引导的多视图融合从不同的角度仔细整合质量感知特征。实验结果表明，与最先进的 nr-pcqa 方法相比，我们的模型具有具有竞争力和可泛化的性能。

目前存在的问题：

• 常用的锚生成方法(例如，在图像分类任务中转换为灰度图像，裁剪，噪声添加)可能会引入额外的失真，降低原有的感知质量
• 大多数 pcqa 数据集 由于注释过程的高成本，仅提供数百个带有标签的样本（即平均意见分数 (mos)，这表明现有的 pcqa 数据集太小，无法训练模型具有良好的泛化性。
• 自然图像和点云之间的内容和失真特征存在显着差异，2d 到 3d 的感知适应非常困难。因此，学习到的通用编码器无法提取足够有效的特征来推断点云质量。

文章主要研究内容：

1. 将失真点云根据不同的旋转角度，获取多视角投影到2D图像，将图像分割为多个补丁后，利用二进制掩码生成锚点，用于对比学习，根据动量对比学习策略训练特征提取编码器
2. 利用有有标签的数据对预训练的编码器微调：将有标签的点云归一化处理后投影到六个方向视图，拼接后提取全局语义特征，作为指导信息融利用多头注意力机制融合预训练特征提取器获取的特征，最终的特征 ( F ) 被输入到全连接层中，用于回归预测的质量评分。

之前的研究的参考：

Pre-Training

The momentum parameter updating follows the configuration in [9].

use the SGD optimizer [26] with weight decay 0.0001

Fine-Tuning

use a ResNet50 [8] pre-trained on ImageNet [5] as encoder G to extract semantic features

use the Adam optimizer [10] with weight decay of 0.0001

涉及的知识点：点云论文阅读知识点-【2024CVPR论文-2】-CSDN博客

论文翻译：