1. 概述
KL距离，是 Kullback-Leibler 差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。
2. 定义
D
(
p
∥
q
)
=
∑
x
∈
X
p
(
x
)
log
p
(
x
)
q
(
x
)
D(p \| q)=\sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}
D(p∥q)=x∈X∑p(x)logq(x)p(x)
其中，
p
(
x
)
p ( x )
p(x) 与
q
(
x
)
q(x)
q(x)是两个概率分布。
定义中约定：
0
l
o
g
(
0
/
q
)
=
0
0 l o g ( 0 / q ) = 0
0log(0/q)=0、
p
l
o
g
(
p
/
0
)
=
∞
p l o g ( p / 0 ) = ∞
plog(p/0)=∞
3.说明：
- 两个概率分布的差距越大，KL距离越大
- 当两个概率分布相同时，KL距离为0
扫一扫
4014
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
