① 熵/Entropy/EN
熵表示一张图像包含信息的丰富程度。公式如下:
H
=
−
∑
i
=
0
L
−
1
p
i
log
2
p
i
H=-\sum_{i=0}^{L-1}p_i\log_2p_i
H=−i=0∑L−1pilog2pi
熵的变化 | 意义 |
---|---|
↑ ↑ ↑ | 图像包含信息更多。 |
↓ ↓ ↓ | 图像包含信息更少。 |
对于一张灰度图,像素的取值为0-255,那么 L = 256 L=256 L=256。 p i p_i pi表示灰度值为 i i i的概率,可以由灰度值为 i i i的像素个数 N i N_i Ni与所有像素数目 N N N之比计算,即 p i = N i N p_i=\frac{N_i}{N} pi=NNi。对于RGB图像一般是将其转为灰度图再计算熵。
② 交叉熵/Cross Entropy/CE
交叉熵表示生成图像与源图像信息的差异。其中
A
A
A是源图像,
B
B
B是生成图像,公式如下:
C
E
A
,
B
=
∑
i
=
0
L
−
1
p
A
i
log
p
A
i
p
B
i
CE_{A,B}=\sum_{i=0}^{L-1}p_{Ai}\log\frac{p_{Ai}}{p_{Bi}}
CEA,B=i=0∑L−1pAilogpBipAi
交叉熵的变化 | 意义 |
---|---|
↑ ↑ ↑ | 生成图像与源图像差异更大。 |
↓ ↓ ↓ | 生成图像与源图像差异更小。 |
如果源图像有多张,例如可见光与红外图像的融合,由两张源图像
A
、
B
A、B
A、B生成一张图像
F
F
F则:
C
E
A
,
F
=
∑
i
=
0
L
−
1
p
A
i
log
p
A
i
p
F
i
C
E
B
,
F
=
∑
i
=
0
L
−
1
p
B
i
log
p
B
i
p
F
i
CE_{A,F}=\sum_{i=0}^{L-1}p_{Ai}\log\frac{p_{Ai}}{p_{Fi}}\\CE_{B,F}=\sum_{i=0}^{L-1}p_{Bi}\log\frac{p_{Bi}}{p_{Fi}}
CEA,F=i=0∑L−1pAilogpFipAiCEB,F=i=0∑L−1pBilogpFipBi
可以统一计算平均交叉熵
M
C
E
MCE
MCE和均方根平均交叉熵
R
C
E
RCE
RCE:
M
C
E
=
C
E
A
,
F
+
C
E
B
,
F
2
R
C
E
=
C
E
A
,
F
2
+
C
E
B
,
F
2
2
MCE=\frac{CE_{A,F}+CE_{B,F}}{2}\\RCE=\sqrt {\frac{CE_{A,F}^2+CE_{B,F}^2}{2}}
MCE=2CEA,F+CEB,FRCE=2CEA,F2+CEB,F2
③ 相关熵/Mutual Information/MI
相关熵或相关信息量
M
I
MI
MI是反应生成图像和源图像的像素分布的相似程度。其中
A
A
A是源图像,
B
B
B是生成图像,公式如下:
M
I
(
A
,
B
)
=
∑
a
=
1
L
−
1
∑
b
=
1
L
−
1
p
B
,
A
(
b
,
a
)
log
2
p
B
,
A
(
b
,
a
)
p
B
(
b
)
p
A
(
a
)
MI(A,B)=\sum_{a=1}^{L-1}\sum_{b=1}^{L-1}p_{B,A}(b,a)\log_2\frac{p_{B,A}(b,a)}{p_B(b)p_A(a)}
MI(A,B)=a=1∑L−1b=1∑L−1pB,A(b,a)log2pB(b)pA(a)pB,A(b,a)
其中
p
B
,
A
p_{B,A}
pB,A表示
B
、
A
B、A
B、A的联合概率密度。对于
p
A
p_{A}
pA或者
p
B
p_{B}
pB来说,一共有
{
0
,
1
,
.
.
.
,
255
}
\{0,1,...,255\}
{0,1,...,255}共256个像素取值的概率,对于
p
B
,
A
p_{B,A}
pB,A来说,一共有256×256个像素取值的概率,分别为
{
(
0
,
0
)
,
(
0
,
1
)
,
.
.
.
,
(
255
,
255
)
}
\{(0,0),(0,1),...,(255,255)\}
{(0,0),(0,1),...,(255,255)}。
相关熵的变化 | 意义 |
---|---|
↑ ↑ ↑ | 生成图像与源图像更相似。 |
↓ ↓ ↓ | 生成图像与源图像更不同。 |
如果源图像有多张,例如可见光与红外图像的融合,由两张源图像
A
、
B
A、B
A、B生成一张图像
F
F
F则:
M
I
(
A
,
F
)
=
∑
a
=
1
L
−
1
∑
f
=
1
L
−
1
p
F
,
A
(
f
,
a
)
log
2
p
F
,
A
(
f
,
a
)
p
F
(
f
)
p
A
(
a
)
M
I
(
B
,
F
)
=
∑
b
=
1
L
−
1
∑
f
=
1
L
−
1
p
F
,
B
(
f
,
b
)
log
2
p
F
,
B
(
f
,
b
)
p
F
(
f
)
p
B
(
b
)
MI(A,F)=\sum_{a=1}^{L-1}\sum_{f=1}^{L-1}p_{F,A}(f,a)\log_2\frac{p_{F,A}(f,a)}{p_F(f)p_A(a)}\\MI(B,F)=\sum_{b=1}^{L-1}\sum_{f=1}^{L-1}p_{F,B}(f,b)\log_2\frac{p_{F,B}(f,b)}{p_F(f)p_B(b)}
MI(A,F)=a=1∑L−1f=1∑L−1pF,A(f,a)log2pF(f)pA(a)pF,A(f,a)MI(B,F)=b=1∑L−1f=1∑L−1pF,B(f,b)log2pF(f)pB(b)pF,B(f,b)
可以计算源图像与生成图像的
M
I
MI
MI:
M
I
(
A
,
B
,
F
)
=
M
I
(
A
,
F
)
+
M
I
(
B
,
F
)
MI(A,B,F)=MI(A,F)+MI(B,F)
MI(A,B,F)=MI(A,F)+MI(B,F)
④ 标准差/Standard Deviation/SD
图像的标准差表示图像的像素值相对于图像平均像素值的偏移程度。
S
D
=
1
M
N
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
(
x
i
,
j
−
μ
)
2
SD=\sqrt{\frac{1}{MN}\sum_{i=0}^{M-1}\sum_{j=0}^{N-1}(x_{i,j}-\mu)^2}
SD=MN1i=0∑M−1j=0∑N−1(xi,j−μ)2
其中
x
i
,
j
x_{i,j}
xi,j表示在
(
i
,
j
)
(i,j)
(i,j)处的像素值,
μ
=
1
M
N
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
x
i
,
j
\mu=\frac{1}{MN}\sum^{M-1}_{i=0}\sum^{N-1}_{j=0}x_{i,j}
μ=MN1∑i=0M−1∑j=0N−1xi,j也就是平均像素值。
标准差的变化 | 意义 |
---|---|
↑ ↑ ↑ | 生成图像像素值更分散。 |
↓ ↓ ↓ | 生成图像像素值更集中。 |
⑤ 平均梯度/Mean Gradient/MG
平均梯度能够反映图像的纹理信息。一张
M
×
N
M×N
M×N的图像,平均梯度计算如下:
M
G
=
1
(
M
−
1
)
(
N
−
1
)
∑
i
=
2
M
∑
j
=
2
N
(
x
i
,
j
−
x
i
−
1
,
j
)
2
+
(
x
i
,
j
−
x
i
,
j
−
1
)
2
2
MG=\frac{1}{(M-1)(N-1)}\sum_{i=2}^M\sum_{j=2}^N\sqrt{\frac{(x_{i,j}-x_{i-1,j})^2+(x_{i,j}-x_{i,j-1})^2}{2}}
MG=(M−1)(N−1)1i=2∑Mj=2∑N2(xi,j−xi−1,j)2+(xi,j−xi,j−1)2
平均梯度的变化 | 意义 |
---|---|
↑ ↑ ↑ | 像素的变化率更大,图像更清晰。 |
↓ ↓ ↓ | 像素的变化率更小,图像更模糊。 |
⑥ 空间频率/Spatial Frequency/SF
S
F
SF
SF是基于图像梯度反应图像的细节和纹理,与平均梯度基本相同。首先计算横向频率
R
F
RF
RF和纵向频率
C
F
CF
CF再计算
S
F
SF
SF:
R
F
=
∑
i
=
1
M
∑
j
=
2
N
(
x
i
,
j
−
x
i
,
j
−
1
)
2
C
F
=
∑
i
=
2
M
∑
j
=
1
N
(
x
i
,
j
−
x
i
−
1
,
j
)
2
S
F
=
R
F
2
+
C
F
2
RF=\sqrt{\sum_{i=1}^M\sum_{j=2}^N(x_{i,j}-x_{i,j-1})^2}\\CF=\sqrt{\sum_{i=2}^M\sum_{j=1}^N(x_{i,j}-x_{i-1,j})^2}\\SF=\sqrt{RF^2+CF^2}
RF=i=1∑Mj=2∑N(xi,j−xi,j−1)2CF=i=2∑Mj=1∑N(xi,j−xi−1,j)2SF=RF2+CF2
空间频率的变化 | 意义 |
---|---|
↑ ↑ ↑ | 边缘纹理信息更丰富。 |
↓ ↓ ↓ | 边缘纹理信息更缺乏。 |
⑦ 峰值信噪比/Peak signal-to-noise ratio/PSNR
P
S
N
R
PSNR
PSNR是通过峰值功率与噪声功率之比来反映失真的度量:
P
S
N
R
=
10
lg
r
2
M
S
E
PSNR=10\lg\frac{r^2}{MSE}
PSNR=10lgMSEr2
其中
r
r
r是融合图像的峰值,一般设置为256。
M
S
E
MSE
MSE是测量融合图像与源图像之间差异的均方误差,定义如下:
M
S
E
=
ω
a
M
S
E
a
f
+
ω
b
M
S
E
b
f
M
S
E
x
f
=
1
M
N
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
(
x
i
,
j
−
f
i
,
j
)
2
MSE=ω_aMSE_{af}+ω_bMSE_{bf}\\MSE_{xf}=\frac{1}{MN}\sum_{i=0}^{M-1}\sum_{j=0}^{N-1}(x_{i,j}-f_{i,j})^2
MSE=ωaMSEaf+ωbMSEbfMSExf=MN1i=0∑M−1j=0∑N−1(xi,j−fi,j)2
峰值信噪比的变化 | 意义 |
---|---|
↑ ↑ ↑ | 融合过程的失真更小,融合图像与源图像更相似。 |
↓ ↓ ↓ | 融合过程的失真更大,融合图像与源图像更不同。 |
⑧ 相关系数/Correlation coefficient/CC
C
C
CC
CC反映源图像和融合图像之间的线性相关程度。它定义为:
C
C
=
ω
a
r
a
f
+
ω
b
r
b
f
r
x
f
=
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
(
x
i
,
j
−
μ
x
)
(
f
i
,
j
−
μ
f
)
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
(
x
i
,
j
−
μ
x
)
2
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
(
f
i
,
j
−
μ
f
)
2
μ
x
=
1
M
N
∑
i
=
0
M
−
1
∑
j
=
0
N
−
1
x
i
,
j
CC=ω_ar_{af}+ω_br_{bf}\\r_{xf}=\frac{\sum^{M-1}_{i=0}\sum^{N-1}_{j=0}(x_{i,j}-\mu_x)(f_{i,j}-\mu_f)}{\sqrt{\sum_{i=0}^{M-1}\sum_{j=0}^{N-1}(x_{i,j}-\mu_x)^2\sum^{M-1}_{i=0}\sum_{j=0}^{N-1}(f_{i,j}-\mu_f)^2}}\\\mu_x=\frac{1}{MN}\sum^{M-1}_{i=0}\sum^{N-1}_{j=0}x_{i,j}
CC=ωaraf+ωbrbfrxf=∑i=0M−1∑j=0N−1(xi,j−μx)2∑i=0M−1∑j=0N−1(fi,j−μf)2∑i=0M−1∑j=0N−1(xi,j−μx)(fi,j−μf)μx=MN1i=0∑M−1j=0∑N−1xi,j
相关系数的变化 | 意义 |
---|---|
↑ ↑ ↑ | 融合图像与源图像更相似。 |
↓ ↓ ↓ | 融合图像与源图像更不同。 |
⑨ 结构相似度准则/Structural similarity index measure/SSIM
S
S
I
M
SSIM
SSIM是广泛使用的度量标准,它根据两个图像在亮度,对比度和结构上的相似性。从数学上讲,图像
x
x
x和
y
y
y之间的
S
S
I
M
SSIM
SSIM如下定义:
S
S
I
M
x
y
=
l
x
y
×
c
x
y
×
s
x
y
l
x
y
=
2
μ
x
μ
y
+
C
1
μ
x
2
+
μ
y
2
+
C
1
c
x
y
=
2
σ
x
σ
y
+
C
2
σ
x
2
+
σ
y
2
+
C
2
s
x
y
=
σ
x
y
+
C
3
σ
x
σ
y
+
C
3
SSIM_{xy}=l_{xy}×c_{xy}×s_{xy}\\l_{xy}=\frac{2\mu_x\mu_y+C_1}{\mu_x^2+\mu_y^2+C_1}\\c_{xy}=\frac{2σ_xσ_y+C_2}{σ_x^2+σ_y^2+C_2}\\s_{xy}=\frac{σ_{xy}+C_3}{σ_xσ_y+C_3}
SSIMxy=lxy×cxy×sxylxy=μx2+μy2+C12μxμy+C1cxy=σx2+σy2+C22σxσy+C2sxy=σxσy+C3σxy+C3
其中
μ
x
、
μ
y
\mu_x、\mu_y
μx、μy是图像
x
、
y
x、y
x、y的平均像素值,
σ
x
、
σ
y
σ_x、σ_y
σx、σy是图像
x
、
y
x、y
x、y的标准差,
σ
x
y
σ_{xy}
σxy是图像
x
、
y
x、y
x、y的协方差,
C
1
、
C
2
、
C
3
C_1、C_2、C_3
C1、C2、C3是稳定算法的参数。
如果源图像有多张,例如可见光与红外图像的融合,由两张源图像
A
、
B
A、B
A、B生成一张图像
F
F
F则:
S
S
I
M
=
ω
A
S
S
I
M
A
F
+
ω
B
S
S
I
M
B
F
SSIM=ω_ASSIM_{AF}+ω_BSSIM_{BF}
SSIM=ωASSIMAF+ωBSSIMBF
结构相似度准则的变化 | 意义 |
---|---|
↑ ↑ ↑ | 融合图像与源图像更相似。 |
↓ ↓ ↓ | 融合图像与源图像更不同。 |
⑩
F
M
I
p
i
x
e
l
FMI_{pixel}
FMIpixel
F
M
I
d
c
t
FMI_{dct}
FMIdct
F
M
I
w
FMI_w
FMIw
Q
a
b
f
Q_{abf}
Qabf
N
a
b
f
N_{abf}
Nabf
S
C
D
SCD
SCD
V
I
F
VIF
VIF