Kullback–Leibler 距离(相对熵)

https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

DKL(P|Q) 用于度量同一概率空间两个概率分布 P , Q 之间的距离,在实际应用中 P 往往代表的是数据真实的分布,而 Q 一般是对 P 的逼近.

若 μ 是 X 上的任意度量,若Radon-Nikodym 导数存在,即 p=dPdμ , q=dQdμ ,

DKL(P|Q)=∫Xplogpqdμ

若 P,Q 是 X 上的概率测度,

DKL(P|Q)=∫XlogdPdQdP

若 P,Q 是连续随机变量的概率分布,

DKL(P|Q)=∫Xlogp(x)q(x)p(x)dx

例如正态分布:
P∼N(0,1) , Q∼N(1,1)

p(x)=12π−−√exp(−x22)

q(x)=12π−−√exp(−(x−1)22)

DKL(P|Q)=∫Xlogp(x)q(x)p(x)dx=12π−−√∫Xlogexp(−x22)exp(−(x−1)22)exp(−x22)dx=12π−−√∫X(1−2x)exp(−x22)dx=1

DKL(P|Q) 的性质:

1.非对称
DKL(P|Q)≠DKL(Q|P)

2.非负
DKL(P|Q)≥0 ,当且仅当 P=Q 时等号成立
pf:假设 P,Q 是连续随机变量的概率分布,

DKL(P|Q)=∫Xlogp(x)q(x)dP

−DKL(P|Q)=∫Xlogq(x)p(x)dP≤log∫Xq(x)p(x)dP=0