【质量评价】Inferring Point Cloud Quality via Graph Similarity 基于图相似性的点云质量评价
内容介绍
Chen S, Tian D, Feng C, et al. Fast resampling of three-dimensional point clouds via graphs[J]. IEEE Transactions on Signal Processing, 2017, 66(3): 666-681.
注意本节对论文内容的总结并未严格按照原文顺序。
1. Introduction
1.1 Background
Difficulties of 3D point cloud quality assessment
• 三维点非结构化、无明确连接，基于点的客观度量的定量和有效性难以保证；
• 3D的几何和属性特征（主要是颜色特征）存在叠加的主观影响；
• 点云处理（如压缩）往往造成点数变化，给点对点的度量带来困难
HVS的特点
• 频率选择性，对高空间频率更敏感（边缘、轮廓、对比度等）
• 属性感知依赖于人眼低通系统过滤的局部邻近结构
• 感知系统可假设为多通道分量的加权合成
Related works
• Point-wise metrics, including point-to-point/plane/mesh：与HVS不符；点云处理造成点数变化时度量存在困难
• 通过投影实现3D到2D的降维（projection-based），进而直接应用图像的客观质量评价指标：对投影方向、投影平面的数目敏感；不能有效反映三维分布特征
1.2 GSP (Graph Signal Processing)
1.2.1 基于GSP的3D点云表示
GSP的基本思想为，针对结构复杂、不规则的高维数据，将其建模表示为图（graph）和图信号（graph signal）。对于三维点云，利用图将其原始曲面进行离散表示。[3]
将点云的成对邻近点建模为图，点的坐标和其他属性特征建模为图信号。这样可应用图论、离散信号处理的相关方法处理点云：[3]
• 顶点、度矩阵、邻接矩阵、转移矩阵、拉普拉斯算子
• filtering, Fourier Transform
基于GSP，可构造局部图和边的连接关系，符合HVS的局部和带通特性；通过滤波可提取高空间频率分量，符合HVS的频率选择性。
1.2.2 点云的图表示
点数为N的点云可表示为N行k列的矩阵，每个行向量
x
i
\mathrm x_i
xi代表第i个点的所有属性，每个列向量
s
k
\mathrm s_k
sk代表第k种属性。
对于单个点可以将几何特征（即三维坐标）和其他属性特征进行分离处理，以颜色属性RGB通道为例：
其中
X
⃗
i
O
\mathrm{\vec X_i^O}
XiO代表三维坐标，
X
⃗
i
I
\mathrm{\vec X_i^I}
XiI代表颜色属性。
图的顶点就是点云的点，邻接矩阵W利用局部欧氏距离，结合高斯核函数进行定义，这是为了符合HVS的局部特性。W既是邻接矩阵也是权重矩阵：
图的度矩阵D是一个对角阵，对于不带权重的图，对角线的第i个元素就代表第i个点连接的节点个数，带权重的图则为相连节点的权重之和。
D
−
1
W
\mathrm D^{-1}W
D−1W称为转移矩阵（transition matrix）。可以算出来这实际上是把W每一行的权重进行归一化，每一行除以对应顶点的度，保证每一行的和是1。之所以称为转移矩阵，个人理解是它类似马尔科夫链里的状态转移矩阵，权重就相当于转移概率。原来的信号不断左乘转移矩阵，也就是经过多次状态转移，最终会达到一个稳态。
图的拉普拉斯矩阵为 L = D − W \mathrm L=D-W L=D−W，其几何意义的阐述参见link。
2. Our approach based on GSP
2.1 Re-sampling
这一步通过高通滤波器进行re-sampling，在降低计算复杂度的同时，提取HVS敏感的高空间频率成分。
2.1.1 Graph filtering
图滤波器在图顶点域和谱分析域的作用效果是不一样的：
In graph vertex domain：把某节点的属性替换为相邻点属性的加权线性组合
In graph spectral domain：抑制或通过特定的频率成分
![[3]](https://i-blog.csdnimg.cn/blog_migrate/cd8ab354b9fc56072804e07969dd7445.png#pic_center)
图滤波器的构造和图的shift operator（N*N矩阵，A）是直接相关的。它的作用就是前面提到的，把每个节点的属性都替换为相邻点属性的加权线性组合，它也是一种最简单的滤波器。
任何线性移不变的图滤波器都可以表示成关于A的多项式函数，这里的 h l \mathrm h_l hl是滤波器的系数，L是滤波器的长度。
2.1.2 Graph Fourier transform & spectral analysis
![[3]](https://i-blog.csdnimg.cn/blog_migrate/371cffeac4c4cf1afdf2e18b7d3128f1.png#pic_center)
图的谱分析：对shift operator A进行特征分解，中间的对角阵
Λ
\mathrm \Lambda
Λ是特征值矩阵，V的每个列向量是相应的特征向量。特征值称为图的频率（graph frequencies），相应的特征向量是图的各个频率分量（graph frequency components）。
这样做的根据是，谱分析，如傅里叶分析，就是把原信号表示成一组线性无关的基的线性组合。而特征向量之间是线性无关的，所以可以把它们作为一组基进行谱分析。
Shift operator A可以有很多选择，如邻接矩阵W、转移矩阵 D − 1 W \mathrm D^{-1}W D−1W、拉普拉斯矩阵 L = D − W \mathrm L=D-W L=D−W等。
当 A = W \mathrm A=W A=W或 A = D − 1 W \mathrm A = D^{-1}W A=D−1W时，特征值按照降序排列；当 A = D − W \mathrm A = D-W A=D−W时特征值按照升序排列；这样可保证最左边的特征值 λ 1 \mathrm \lambda_1 λ1代表最低频率，相应的特征向量 v 1 \mathrm{\mathbf{v_1}} v1捕捉图中的最小变化。也就是说， A = W \mathrm A=W A=W或 D − 1 W \mathrm D^{-1}W D−1W时，最大特征值对应最低空间频率； A = D − W \mathrm A=D-W A=D−W时则相反。
个人理解是，类似数学建模中主成分分析的方法，某个特征值占所有特征值总和的比重越大，相应地，它能在更大程度上反应原信号的特征。对于邻接矩阵或转移矩阵，其作用为把每个节点的属性都替换为相邻点属性的加权线性组合，这样处理后，空间频率越低、越“平坦”的区域变化越小，也就是越能反应信号特征。对于拉普拉斯矩阵，对图的作用效果为计算梯度的散度，突出边缘等高空间频率的地方，高空间频率更能反映信号特征，对应较大的特征值。
本文中取 A = D − 1 W \mathrm A = D^{-1}W A=D−1W。
2.1.3 Invariance properties of re-sampling & filtering
在重采样（re-sampling）的过程中，采样点被选中的概率分布应该满足三个不变性，这些不变性主要是针对几何特征（三维坐标）。滤波器的设计最好也满足这些特性：
![[3]](https://i-blog.csdnimg.cn/blog_migrate/cfc6b96e14211ea81fe9588340a34fe8.png#pic_center)
2.1.4 Graph filter design & feature-extraction filtering
前面提到由于HVS的高空间频率敏感特性，采样应该是基于图像特征的。特征提取通过滤波器实现。
图滤波器的设计在谱分析域上进行，以方便控制频率响应、计算滤波器系数：
![[3]](https://i-blog.csdnimg.cn/blog_migrate/dcd892095ec43b96a256d60c36750cc0.png#pic_center)
2.1.5 Haar-like highpass filter
本文中用于重采样的高通滤波器为Haar-like高通滤波器，其表达式为
h
H
H
(
A
)
\mathrm h_{HH}(A)
hHH(A)，相应的频率响应为
F
(
X
i
⃗
)
\mathrm{ F(\vec{X_i}) }
F(Xi)。
2.1.2中已经提到，当
A
=
D
−
1
W
\mathrm A = D^{-1}W
A=D−1W时特征值按降序排列，因此
h
H
H
(
A
)
\mathrm h_{HH}(A)
hHH(A)的特征值按升序排列，高空间频率分量对应的特征值（权重）大，也就起到了高通作用。
Haar-like 高通滤波器还有以下特征：
![[3]](https://i-blog.csdnimg.cn/blog_migrate/86f3b392d3485e38b063f803a26d2229.png#pic_center)
2.1.6 Optimal re-sampling distribution
2.1.5中Eq.8得出的频率响应 F ( X i ⃗ ) \mathrm{ F(\vec{X_i}) } F(Xi)正比于点 X i ⃗ \mathrm{ \vec{X_i} } Xi对应的权重 ∑ j w X i ⃗ , X j ⃗ \mathrm{ \sum_j w_{\vec{X_i}, \vec{X_j}}} ∑jwXi,Xj。以此为重采样中 X i ⃗ \mathrm{ \vec{X_i} } Xi被选择为关键点的概率度量。
之所以在re-sampling中引入概率分布，而不是直接选择k-th最高空间频率的点，是考虑到目前对HVS机理和特性的研究并不充分，且质量评价具有一定的主观性，不同观察者可能有不同的看法，因此低频成分不一定完全不重要。
可改变滤波器长度L及采样点数β，选择合适的参数，平衡计算效率和模型有效性。根据原文Fig.1，L=4、β=N/1000 效果最好。
2.2 Local graph construction
以在re-sampling中获得的关键点为聚类中心，分别在参考点云
P
⃗
𝑟
\vec P _𝑟
Pr 和失真点云
P
⃗
d
\vec P _d
Pd中进行聚类；
与类中心的球面距离在半径
θ
\theta
θ范围内的相邻点被划入类内。
聚类后通过构建邻接矩阵W构建局部图（欧氏距离）：
距离阈值
τ
\tau
τ与球面半径
θ
\theta
θ有关；方差
σ
2
\sigma^2
σ2为
τ
\tau
τ的函数。
2.3 Color gradient features
2.3.1 颜色的边缘梯度
2.3.2 梯度的三个矩
零阶矩即所有点边缘梯度的总和。可反映点密度的变化（比较Fig.2 (a)与(b)(d)），但不能处理几何位移©和感知质量不一致的情况（(d)经压缩重建后点数加倍，但感知质量并没有太大变化）。
一阶矩由零阶矩
m
g
m_g
mg经过简单归一化后得到，即除以总点数。
二阶矩反映信号属性的相对变化趋势，解决零阶矩和一阶矩不能解决的点的位移问题（Fig.2 ©）。
2.4 GraphSIM
最后利用average pooling聚合所有局部图的GraphSIM得分，得到整个图的分数：
3. Experimental evaluations
3.1 Database with subjective scores (MOSs)
介绍了两个带主观评分的数据库：SJTU-PCQA、IRPC。
选择SJTU-PCQA数据库的5个人物点云，IRPC数据库的2个人物、2个无生命样本点云作为实验样本。
3.2 Gaussian color model
高斯颜色空间（GCM, Gaussian color model）由于与HVS感知更密切相关而在实验中被使用。GCM与RGB的转化关系如下：
3.3 Model parameters
3.3.1 Re-sampling
由Fig.1，L = 4；β = N/1000。
3.3.2 Local graph construction
半径 θ = B / 10 \mathrm \theta = B/10 θ=B/10，其中B与参考点云的尺度有关(B – bounding box scale)：
B = m i n ( X s , Y s , Z s ) \mathrm{ B=min(X_s, Y_s, Z_s) } B=min(Xs,Ys,Zs)，其中 X s = X m a x − X m i n \mathrm{ X_s = X_{max} - X_{min}} Xs=Xmax−Xmin、 Y s = Y m a x − Y m i n \mathrm{ Y_s = Y_{max} - Y_{min}} Ys=Ymax−Ymin、 Z s = Z m a x − Z m i n \mathrm{ Z_s = Z_{max} - Z_{min}} Zs=Zmax−Zmin为参考点云在x/y/z轴各自的边界框尺度。
邻接矩阵W的距离阈值 τ \tau τ，为参考点云或失真点云中，以某个关键点 s k ⃗ \mathrm{ \vec{s_k} } sk为类中心的局部图中，k-th最近邻点到 s k ⃗ \mathrm{ \vec{s_k} } sk的最大欧式距离，此处k可取50。（ τ \tau τ is the k-th neighboring Euclidean distance, k = 50）
高斯核函数的方差 σ 2 = τ 2 / 2 \mathrm{ \sigma^2 = \tau^2 / 2 } σ2=τ2/2。
局部图的参数 θ \mathrm \theta θ和 τ \tau τ都与点云本身的尺度有关，因此在模型计算过程中可以无偏差地对点云尺度进行标准化，排除点云尺度造成的影响。
3.3.3 GraphSIM
Eq.18-20中参数 T 0 \mathrm{ T_0 } T0、 T 1 \mathrm{ T_1 } T1、 T 2 \mathrm{ T_2 } T2为极小的常数，防止分母为零的情况出现，可均取为0.001。
不同颜色通道之间的权重 γ c \gamma_c γc：对于GCM，遵循YUV颜色空间的赋权方法，给亮度通道更大的权重， [ γ E ^ , γ E ^ λ , γ E ^ λ λ ] = [ 6 , 1 , 1 ] \mathrm{ [ \gamma_{\hat E}, \gamma_{\hat{E}_\lambda}, \gamma_{\hat{E}_{\lambda \lambda}} ] = [6, 1, 1]} [γE^,γE^λ,γE^λλ]=[6,1,1]。
3.4 Performance evaluation
将GraphSIM与5种传统度量方式比较，且借助PLCC/SROCC/RMSE（皮尔逊线性相关系数、斯皮尔曼秩次相关系数、均方根误差）三种指标，衡量其与MOS的相关性：
3.4.1 Experiment based on SJTU-PCQA database
对于SJTU-PCQA数据库的5个人物点云，模拟重采样、强度噪声、几何噪声、压缩等多种失真及其叠加。
-
针对不同失真种类
GraphSIM 符合MOS，且表现出较好的鲁棒性，在各点云和失真种类上表现均衡；
M-p2po受点云尺度影响，因此MSE进行了归一化。但误差度量与轴的最大范围未对齐时，仍然会存在误差。 -
针对不同点云样本
前四种度量方法只能衡量几何误差； P S N R Y U V \mathrm PSNR_{YUV} PSNRYUV只能衡量颜色属性误差；
因此 P S N R Y U V PSNR_{YUV} PSNRYUV在CN（color noise）表现良好，对于OT（基于八叉树的压缩）则表现很差；
GraphSIM 仍然表现出较好的鲁棒性。 -
综合所有点云样本和失真种类，比较六种客观度量方法
散点图综合展示所有失真、所有点云中，六种误差度量方法客观质量分数与MOS的关系。（前四种方法不包括CN，因前四种方法无法度量颜色属性误差）
GraphSIM 评分最接近完美预测线y=x。尽管其他方法对于个别失真种类表现突出，但整体一致性较差。
3.4.2 Experiment based on IRPC database
对于IRPC数据库的2个人物、2个无生命样本点云，使用2种典型的压缩算法进行处理：G-PCC、V-PCC：
其他指标在性能一致性上仍然存在问题，且受点云尺度的影响，如
P
S
N
R
Y
U
V
PSNR_{YUV}
PSNRYUV。
例如在Table 5中， P S N R Y U V PSNR_{YUV} PSNRYUV在PLCC、RMSE中表现和GraphSIM一致性较好，在SROCC却表现出严重退化（Table 5中标黄位置）；
在Table 6中， P S N R Y U V PSNR_{YUV} PSNRYUV对高质量（HQ）的LongDress的评分低于低质量（LQ）的Loot，就是因为没有排除点云尺度的影响。
4. Ablation studies
消融实验类似控制变量法。
4.1 color space
GraphSIM在三个颜色空间的性能一致性较好。
4.2 local graph
4.2.1 Re-sampling
改变采样方式：High-pass & Random re-sampling；
改变采样点数
β
\beta
β；
High-pass在不同采样率下性能一致，随机采样随采样率变化，性能不稳定，可能由于随机采样的关键点没有很好地覆盖几何结构/感知敏感的频带。
4.2.2 Neighbor dimension
改变半径
θ
\theta
θ（与点云尺度B有关，详见3.3.2）：
增大
θ
\theta
θ（邻域大小），模型性能上升，当
θ
/
B
≥
0.05
\theta / B \geq{0.05}
θ/B≥0.05时结果趋于稳定。在实际应用中只要设定
θ
/
B
\theta / B
θ/B的下界即可。
4.2.3 Graph scale
对邻近点赋权重的距离阈值
τ
\tau
τ由k-th最近邻的欧式距离定义，改变k：
增大k，模型性能更优，k达到50后趋于稳定。
4.3 pooling strategy
SROCC变化较小，由于pooling并不改变测试样本的单调性。
PLCC和RMSE在C1效果最好，C4效果最差，因为Multiplication会加剧误差的影响。
如果不考虑复杂的加权因子，AVE比M在PLCC和RMSE的测量上更可靠。
4.4 signal type
G1拟合效果最差，由于权重W和梯度都是关于距离的函数，有相反的单调性，梯度的影响被掩盖了；
M1、M2 拟合效果很好。
4.5 graph type
由于4.4中，混合属性M1/M2能够提升模型性能，考虑同时利用几何特征 𝑋 𝑖 𝑂 ⃗ \vec{𝑋 _𝑖^𝑂} XiO和颜色属性特征 𝑋 𝑖 I ⃗ \vec{𝑋 _𝑖^I} XiI构造局部图:
模型效果并无提升，反而下降，猜测是由于颜色属性分布与几何属性的相关性弱，利用颜色属性构造局部图反而会造成干扰。
主要参考文献
[3] S. Chen, D. Tian, C. Feng, A. V etro, and J. Kovaˇ cevi´ c, “Fast resampling of three-dimensional point clouds via graphs,” IEEE Trans. Signal Processing, vol. 66, no. 3, pp. 666–681, 2017.
[47] Y . Bai, G. Cheung, X. Liu, and W. Gao, “Graph-based blind
image deblurring from a single photograph,” IEEE Trans. Image
Processing, vol. 28, no. 3, pp. 1404–1418, 2018.
原文行文顺序
本节大致梳理原论文的结构及整体框架，以方便内容检索。具体内容展开结合参考文献，见“内容介绍”。
摘要
媒体内容的客观质量评估在广泛应用中起着至关重要的作用。虽然2D图像和视频存在许多度量方法，但对于具有非结构化和非均匀分布点的3D点云，缺少类似的度量。在本文中，我们提出了GraphSIM——一种能够准确定量预测人类对叠加几何和颜色损伤的点云感知的度量。
人类视觉系统（HVS）对高空间频率成分更加敏感（例如轮廓和边缘），相比单个点强度更注重局部结构变化。基于这一事实，我们使用图形信号梯度作为质量指标来评估点云失真。
具体来说，我们首先通过对参考点云几何信息进行重采样来提取几何关键点，以形成对象骨架。然后，我们为参考点云和失真点云构建以这些关键点为中心的局部图。接下来，我们计算中心关键点和同一局部图中所有其他点之间的颜色梯度的三个矩，以获得局部显著性相似性特征。最后，我们通过汇集所有颜色通道的局部图显著性并对所有图进行平均来获得相似性指数。
我们在两个大型独立的点云评估数据集上评估图形，这些数据集涉及广泛的损伤（例如重新采样、压缩和加性噪声）。GraphSIM为所有失真提供了最先进的性能，与标准化参考软件中采用的基于逐点距离的度量相比，在预测主观平均意见得分（MOS, mean opinion score）方面具有显著的优势。消融研究进一步表明，通过调整其关键模块和参数，GraphSIM可以推广到各种场景，并保持性能一致性。
模型和相关材料见 https://njuvision.github.io/GraphSIM、http://smt.sjtu.edu.cn/papers/GraphSIM。
整体框架
-
Introduction
observation 传统度量的缺陷、3D点云客观质量评价存在的困难
perception 人眼视觉系统（HVS）的工作机理和特性、图信号处理（GSP, graph signal processing）的基本思想
our approach
main contributions -
Related work
关于点云客观质量评估的研究 -
Point cloud via graph representation
点云的图表示和后续的关键图形操作
3.1 graph
3.2 operand 颜色属性的边缘梯度 -
Point cloud re-sampling
提取关键点 -
GraphSIM: measuring point cloud quality via graph similarity
以关键点为中心的图的建立，色彩梯度聚合，相似性的推导
5.1 keypoints resampling
5.2 local graph construction
5.3 color graph features zeroth/first/second moment 颜色梯度的3个矩
5.4 GraphSIM -
Experimental evaluations
实验研究，对MOS的预测性能
6.1 subjective point cloud assessment database
6.2 Gaussian color decomposition
6.3 model parameters 模型参数的确定
6.4 performance evaluation -
Ablation studies
消融研究，鲁棒性和可靠性
7.1 color space
7.2 local graph resampling, neighbor dimension, graph scale
7.3 pooling strategy
7.4 signal type
7.5 graph type
结论
近年来，点云技术在虚拟现实、临场感等方面发展迅速。但是，它仍然缺乏一种能够准确预测人类感知的有效客观质量指标，并且可以嵌入到系统中进行性能优化。MPEG点云压缩标准中使用的现有基于点距离的度量不仅在内容和失真方面不稳定，而且不能很好地反映HVS的感知。
因此，我们开发了GraphSIM，通过共同考虑几何和颜色失真来解决这个问题。它包括点云重采样以提取高空间频率下、感知敏感的关键点（例如轮廓、边缘），然后以提取的关键点为中心构建局部图；以及每个图的颜色梯度聚合，用于跨颜色通道和所有图的最终相似性指标池化。
GraphSIM在两个独立的点云质量评估数据集上证明了与主观MOS的一致、可靠的相关性，与MPEG点云参考软件中采用的最先进指标相比，取得了显著的进步。GraphSIM参数要么是固定常数，要么直接依赖于输入信号（例如颜色空间、边界框比例等），使系统实现相当容易。消融研究通过检查其关键模块和模型参数，进一步支持了模型泛化。
未来的探索有几个有趣的途径。例如，如何更好地扩展几何体点云（无颜色属性）是值得深入研究的。将图形应用于MPEG点云压缩技术以定量优化率失真效率是另一个实用且有吸引力的话题。
扫一扫
733
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
