相对熵:
相对熵:又称KL散度(Kullback–Leibler divergence),是描述俩个概率分布P和Q差异的一种方法。
公式:
DKL(P||Q)=−∑iP(i)logQ(i)P(i)
D
K
L
(
P
|
|
Q
)
=
−
∑
i
P
(
i
)
l
o
g
Q
(
i
)
P
(
i
)
DKL(P||Q)=∑iP(i)logP(i)Q(i)
D
K
L
(
P
|
|
Q
)
=
∑
i
P
(
i
)
l
o
g
P
(
i
)
Q
(
i
)
推导:
相对熵=交叉熵 - 信息熵
DKL(P||Q)=H(p,q)−H(p)
D
K
L
(
P
|
|
Q
)
=
H
(
p
,
q
)
−
H
(
p
)
=∑i=1Np(i)log21q(i)−∑i=1Np(i)log21p(i)
=
∑
i
=
1
N
p
(
i
)
l
o
g
2
1
q
(
i
)
−
∑
i
=
1
N
p
(
i
)
l
o
g
2
1
p
(
i
)
=∑i=1Np(i)log2p(k)q(k)
=
∑
i
=
1
N
p
(
i
)
l
o
g
2
p
(
k
)
q
(
k
)
例:
一支小组4个球队(a、b、c、d),出现的概率分别为
pi=(12,14,18,18)
p
i
=
(
1
2
,
1
4
,
1
8
,
1
8
)
,非真实概率分布为
pi=(14,14,14,14)
p
i
=
(
1
4
,
1
4
,
1
4
,
1
4
)
。
相对熵=交叉熵 - 信息熵 =2-1.75=0.25。
如果对信息熵和交叉熵的计算不了解,请点击下面的链接。
信息熵
交叉熵