【三维重建】【深度学习】NeRF图像质量的客观评估指标:PSNR和SSIM
提示:最近开始在【三维重建】方面进行研究,记录NeRF相关知识点,目前针对有真实参考的图像质量评估指标主要有三种:人为设计的SSIM和PSNR以及对神经网络抽取特征进行对比的LPIPS,这里主要介绍SSIM和PSNR的原理。
PSNR(峰值信噪比)
峰值信噪比(Peak Signal to Noise Ratio, PSNR)是一种衡量图像质量的度量标准。因为PSNR值具有局限性,所以它只是衡量最大值信号和背景噪音之间的图像质量参考值。
PSNR是基于MSE(MeanSquare Error,均方误差)定义的,其中,MSE定义为:
M
S
E
=
1
H
×
W
∑
i
=
1
H
∑
j
=
1
W
(
X
(
i
,
j
)
−
Y
(
i
,
j
)
)
2
MSE = \frac{1}{{H \times W}}\sum\nolimits_{i = 1}^H {\sum\nolimits_{j = 1}^W {{{\left( {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right)}^2}} }
MSE=H×W1∑i=1H∑j=1W(X(i,j)−Y(i,j))2
MSE表示当前图像X和参考图像Y的均方误差,H、W分别为图像的高度和宽度
PSNR定义为:
P
S
N
R
=
10
log
10
(
M
A
X
x
2
M
S
E
)
=
10
log
10
(
(
2
n
−
1
)
2
M
S
E
)
PSNR = 10{\log _{10}}\left( {\frac{{MAX_x^2}}{{MSE}}} \right) = 10{\log _{10}}\left( {\frac{{{{\left( {{2^n} - 1} \right)}^2}}}{{MSE}}} \right)
PSNR=10log10(MSEMAXx2)=10log10(MSE(2n−1)2)
M A X x MA{X_x} MAXx为图像X的最大像素值:n为每像素的比特数,一般取8,即像素灰阶数为256
PSNR的单位是dB,MSE越小,则PSNR越大;PSNR越大,代表着图像质量越好。
PSNR值越大,表示图像的质量越好,一般来说:
- 大于40dB:非常接近原始图像,图像质量极好
- 30到40dB:失真可以察觉但可以接受,图像质量良好
- 20到30dB:图像质量较差
- 低于20dB:图像质量十分糟糕
SSIM(结构相似性指数)
结构相似性指数(structural similarity index,SSIM)是一种用于量化两幅图像间的结构相似性的指标。SSIM相对PSNR在评价图像质量上更符合人类的视觉特性。SSIM从亮度、对比度以及结构量化图像的属性。
1.用均值作为亮度的估计:
均值:
μ
x
=
1
N
∑
i
=
1
N
x
i
{\mu _{\rm{x}}} = \frac{1}{N}\sum\nolimits_{{\rm{i}} = 1}^N {{x_i}}
μx=N1∑i=1Nxi
亮度:
l
(
X
,
Y
)
=
2
μ
x
μ
y
+
c
1
μ
x
2
+
μ
y
2
+
c
1
l\left( {X,Y} \right) = \frac{{2{\mu _{\rm{x}}}{\mu _y} + {c_1}}}{{\mu _x^2 + \mu _y^2 + {c_1}}}
l(X,Y)=μx2+μy2+c12μxμy+c1
N表示像素个数, x i {x_i} xi表示像素值,X和Y代表不同的俩幅图像,c表示防止分母为零的常数
2.标准差作为对比度的估计:
标准差:
σ
x
=
(
1
N
−
1
∑
i
=
1
N
(
x
i
−
μ
i
)
2
)
1
2
{\sigma _x} = {\left( {\frac{1}{{N - 1}}{{\sum\nolimits_{{\rm{i}} = 1}^N {\left( {{x_i} - {\mu _i}} \right)} }^2}} \right)^{\frac{1}{2}}}
σx=(N−11∑i=1N(xi−μi)2)21
对比度:
c
(
X
,
Y
)
=
2
σ
x
σ
y
+
c
2
σ
x
2
+
σ
y
2
+
c
2
c\left( {X,Y} \right) = \frac{{2{\sigma _{\rm{x}}}{\sigma _y} + {c_2}}}{{\sigma _x^2 + \sigma _y^2 + {c_2}}}
c(X,Y)=σx2+σy2+c22σxσy+c2
3.协方差作为结构相似程度的度量:
协方差:
σ
x
y
=
1
N
−
1
∑
i
=
1
N
(
x
i
−
μ
i
x
)
(
y
i
−
μ
i
y
)
{\sigma _{xy}} = \frac{1}{{N - 1}}\sum\nolimits_{{\rm{i}} = 1}^N {\left( {{x_i} - \mu _i^x} \right)} \left( {{y_i} - \mu _i^y} \right)
σxy=N−11∑i=1N(xi−μix)(yi−μiy)
结构相似程度:
s
(
X
,
Y
)
=
σ
x
y
+
c
3
σ
x
σ
y
+
c
3
s\left( {X,Y} \right) = \frac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x}{\sigma _y} + {c_3}}}
s(X,Y)=σxσy+c3σxy+c3
4.SSIM定义为:
S
S
I
M
(
X
,
Y
)
=
[
l
(
X
,
Y
)
α
c
(
X
,
Y
)
β
s
(
X
,
Y
)
γ
]
SSIM\left( {X,Y} \right) = \left[ {l{{\left( {X,Y} \right)}^\alpha }c{{\left( {X,Y} \right)}^\beta }s{{\left( {X,Y} \right)}^\gamma }} \right]
SSIM(X,Y)=[l(X,Y)αc(X,Y)βs(X,Y)γ]
当α、β和γ均为1则:
S
S
I
M
(
X
,
Y
)
=
(
2
μ
x
μ
y
+
c
1
)
(
2
σ
x
y
+
c
2
)
(
μ
x
2
+
μ
y
2
+
c
1
)
(
σ
x
2
+
σ
y
2
+
c
2
)
SSIM\left( {X,Y} \right) = \frac{{\left( {2{\mu _{\rm{x}}}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}}
SSIM(X,Y)=(μx2+μy2+c1)(σx2+σy2+c2)(2μxμy+c1)(2σxy+c2)
SSIM值的范围为0至1,越大代表图像越相似。
总结
尽可能简单、详细的介绍PSNR和SSIM评估指标的原理。