论文阅读【Inferring Point Cloud via Graph Similarity】

论文阅读题目：Inferring Point Cloud via Graph Similarity

作者：Qi Yang, Zhan Ma, Senior Member, IEEE, Yiling Xu, Member, IEEE,Zhu Li, Senior Member, IEEE, and Jun Sun
2020, IEEE Transactions on Pattern Analysis and Machine Intelligence
论文：GraphSIM论文
代码：GraphSIM代码
FR-PCQA

摘要

1、提出了GraphSIM，一种可以精确定量地预测人类对于具有几何和颜色失真的点云的感知；
人类视觉系统（Human Vision System，HVS）对于高频分量（例如，轮廓，边缘）很敏感，并且比单个点强度更重视局部结构变化。

2、基于HVS，本文使用图信号梯度作为评估点云失真的质量指标；
①首先，通过对参考点云进行重采样得到的骨架来提取几何关键点；
②其次，以这些参考点云和失真点云的几何关键点为中心，构建局部图；
③随后，通过中心关键点和所有在相同局部图中的其他点，计算颜色梯度的三阶矩，用于局部显著性相似特征（local significance similarity
④最后，通过池化操作来获得相似性指标。

3、在STJU和IRPC数据库上进行实验，获得了SOTA，进行了消融实验。

1 引言

Observation

• 大多数的点云质量评价的参托是用逐点误差测量（eg.PSNR），基于点的评估不能很好地反映HVS。
• 对于二维图像，开发了结构相似性指数（Structural Similarity index，SSIM），可以更好地利用HVS特性。
• 对于三维点云，点是非结构化的，点与点之间没有很好到关联性，并且在点云处理（比如：压缩）的过程中，会改变同一点云中点的总数，从而使得三维点云问题变得复杂。

Perception

本文的灵感来自于HVS的感知模型：

• HVS对频率有选择性，对高频空间更加敏感，例如几何结构（边缘/方向），对比度，复合显著性；
• 眼睛不直接感知单个点的视觉属性，而是感知由眼睛光学的低通功能过滤的局部相邻结构。
• 因此，可以假设：整体质量感知是一个单通道成分（例如：结构和颜色）的加权合成。

方法一：可以将三维转为二维进行处理，即投影，用现有的二维处理方式对投影后的图像进行处理，但是投影操作对投影的方向很敏感，并且，投影不能很好地表征三维点的分布。
方法二：采用**基于图信号处理（graph signal processing，GSP）**的技术。图形可以通过隐式嵌入局部邻居连接来表征其重要性，从而对高维数据进行建模。对点云也适用，可以隐式地利用扩展函数来连接局部邻居进行几何合成。

因此，本文选择GSP来系统地量化点云质量。

Our Approach

结合几何属性和颜色属性对点云质量进行建模：

1. 首先，利用点云的几何信息提取点云的关键点，构建三维骨架（例如：轮廓，边缘）
2. 在参考点云和失真点云中使用提取的关键点来构建局部图。
3. 计算每个局部图中球面中心和其近邻之间的颜色梯度的第0，1，2阶矩，以测量特征聚合和相似度计算后的局部图失真。
4. 使用局部失真来得到相似度指数，该指数在不同的颜色通道进行连续池化。对所有的图相似度进行加权后，得到最终的客观分数。
   重采样方法

数据库：SJTU, IRPC

主要贡献：

1. 第一个通过GSP技术获取点云质量的方法
2. 使用SJTU,IRPC获得了SOTA
3. 进行消融实验证明，模型在不同的设置下有鲁棒性。

原理图：

2 相关工作

分析了基于点的方法和基于投影的方法的工作。

3 通过图表示点云

主要介绍了GSP的关键概念。细节在以下链接中：
The emerging field of signal processing on graphs:
Extending high-dimensional data analysis to networks and other
irregular domains

3.1 Graph
假设一个点云P有N个点，每个点有K个属性，即
$$\overrightarrow{P}=[X_1,X_2,...,X_N{]}^T\in R^{N\times K}$$
$${\overrightarrow{X}}_i=(x_i,y_i,z_i,R_i,G_i,B_i)=[{\overrightarrow{X}}_i^O,{\overrightarrow{X}}_i^I]$$
N：点云点数
提出将局部邻居连接权值编码维邻接矩阵W来构建点云的图表示。

其中：\tau是欧氏距离阈值，用于将相邻点聚类到一个局部图中。
局部图可以表示为：$${\overrightarrow{G}}_{\overrightarrow{P},W(\overrightarrow{P})}$$

Operand
度矩阵D，用于衡量每个顶点的边缘密度。
对于每个点，其连接密度为$$d_i={\Sigma }_{{\overrightarrow{X}}_j}{W}_{{\overrightarrow{X}}_i,{\overrightarrow{X}}_j}$$
$$D=diag(d_1,...,d_N\in R^{N\times N})$$
矢量化颜色强度：$$f({\overrightarrow{X}}_i)=[{\overrightarrow{R}}_i,{\overrightarrow{G}}_i,{\overrightarrow{B}}_i]$$
边缘：KaTeX parse error: Expected '}', got 'EOF' at end of input: …htarrow{X}_{j})
所以，图边导数：
f对应的图梯度是所有边导数的集合：
图拉普拉斯矩阵： L = D - W

4 点云重采样

图滤波器：
图位移算子A可以用邻接矩阵W，或者转移矩阵，或者图拉普拉斯矩阵L来表示。一个线形移不变的图滤波器是A的多项式：
$$h(A)=\sum _{l=o}^{L-1}{h}_l{A}^l=h_{0}I+h_{1}A+...+h_{L-1}{A}^{L-1}$$
L：滤波器的长度
选择Haar-like图滤波器作为高通滤波器：

其中：DA=W
频率响应：

利用上述公式在频域对点进行排序，从而实现采样。

利用重采样，不仅符合感知直觉，还降低了计算复杂度，具有实际意义。
【注】几何关键点仅使用参考点云的几何信息从参考点云中提取，利用几何关键点在参考和失真点云中构建局部图

5 GraphSIM-通过图相似度测量点云质量

涉及关键点重采样，局部图构建，颜色梯度聚合和相似性由来。

5.1 关键点重采样

关键点重采样公式：

根据频率响应公式，每个点与其对应的加权分数相关联，例如，频率越高，得分越高。将加权分数作为概率度量来决定是否可以选择关联点作为关键点。高频点更容易被选为关键点。

图1：不同的L和β的结果

结果表明：随着β的减小，基于图的重采样滤波器试图保留靠近物体轮廓、边缘的点。另一方面，L越大，感受野越大，滤波器性能越好，复杂度也越高。

本文选择β=N/1000,L=4。

5.2 局部图构建

参考点云和失真点云的局部图公式：

5.3 颜色梯度特征

首先使用颜色梯度的零阶矩、一阶矩和二阶矩分别表示质量、均值和方差特征，这样我们可以很好地说明局部图中的颜色分布。

5.3.1 Zeroth Moment: Gradient Mass

• 已经有研究表明，HVS在感知三维表面时，对纹理梯度信息极为敏感/HVS对敏感性是不均匀分布的。
• 这是由于视网膜上的视锥细胞和视杆细胞分布不均所致。
• 这种不均匀的感知可以用关于偏心率的广义高斯模型很好的表征。
• 因此，本文使用距离加权图信号梯度来测量感知影响。

公式：

通过颜色零阶矩来表示局部的颜色变化，然后用欧氏距离因子的对其加权，共同考虑几何属性和颜色属性的叠加失真。
缺点：不能有效地处理几何位移、感知不一致等问题。

5.3.2 First Moment: Gradient Mean

一阶矩测量特定局部图中关键点与其相邻点之间的平均颜色梯度差，显示平均局部对比度变化。
缺点：一阶矩和零阶矩不能处理几何旋转的情况。因为它们不考虑任何运动引起的变化。

5.3.3 Second Moment: Gradient Variance and Co-variance

二阶矩反映相对变化趋势，为了计算方差和协方差，首先使用逐点欧氏距离进行匹配（点匹配：最近邻），用来确保对应的来自每个图形中的相同几何位置。

二阶矩计算公式：

下图：通过四种情况说明不同阶矩阵各自适用的情况。

零阶矩	质量， 局部颜色强度变化
一阶矩	均值，局部平均对比度变化
二阶矩	方差，相对变化趋势

5.4 GraphSIM

6 实验

数据库：SJTU、IRPC

1. RGB -> GCM

【第一个是亮度通道，后两个是色度通道】

实验结果：

表3：SJTU-PCQA数据库中不同点云类别的模型性能（PLCC、SROCC和RMSE）。

表4：SJTU-PCQA数据库中点云样本在不同损伤方面的模型性能（PLCC、SROCC和RMSE）。

MOS预测精度

表5：使用G-PCC和V-PCC编码的不同点云的模型性能（PLCC、SROCC和RMSE）

表6：IRPC中People样本的客观得分（PSNRYUV，GraphSIM）和MOS

7 消融实验

1、颜色域

2、局部图

3、池化策略

C1 = [AVE, AVE], C2 = [M, AVE], C3 = [AVE,M] and C4 = [M,M].

4、信号类型

• 本部分研究讨论另外两种信号属性，即坐标(G1)和法线(G2)，不涉及任何颜色信息。
• 对于G1，我们直接使用三维空间坐标来表示信号属性;
• 对于G2，我们使用主成分分析(PCA)计算的法向量。
• 此外，我们进一步测试了GraphSIM的性能，使用混合属性，如“颜色+坐标”(M1)，“颜色+法线”(M2)。
• 请注意，这里使用的颜色信号是在GCM颜色空间中，并且平均(AVE)池化策略应用于通道和属性聚合。

表10：实验结果

5、图类型

本文只使用几何坐标来构建局部图，然后增加颜色属性作为图信号来评估叠加的几何和属性畸变。正如第7.4节所述，混合属性信号可以进一步提高模型性能(见表10)。因此，本节探讨了在构造局部图时包含额外颜色信息的可能性。

8 总结

• 现有的MPEG点云压缩标准中使用的基于点距离的度量：不仅在内容和失真之间不稳定，而且不能很好地反映HVS的感知感觉。

• 因此，本文开发了GraphSIM，通过联合考虑几何和颜色扭曲来解决这个问题。

• 它包括点云重采样，提取对感知更敏感的高空间频率的关键点(如轮廓、边缘)；然后构建以提取的关键点为中心的局部图;并对每个图进行颜色梯度聚合，最终实现跨颜色通道和所有图的相似性索引池化。

• 未来有几个有趣的探索方向：
  ①例如，如何更好地扩展GraphSIM的几何点云(即，没有颜色属性)是值得深入研究的。
  ②将GraphSIM应用到MPEG点云压缩技术中，定量优化率失真效率是另一个实用而有吸引力的课题

  。

参考

现代显示系统原理–人类视觉系统
人类视觉特性（HVS）