KLDivergence 理解
在数理统计( mathematical statistics )中, Kullback–Leibler divergence 使用来衡量一个概率分布和预期的概率分布偏离的程度。在信息系统( information system )中我们称其为相对熵( relative entropy )
从概率分布
Q
到概率分布
在机器学习(
machine learning
)中, 如果我们用
P
来代替
在贝叶斯推理(
Bayesian inference
)中, 我们用
DKL(P||Q)
来表示信息增益(
information gain
)。其中是
Q
是先验概率分布(
DKL(P||Q)=0
表示
P
和
DKL(P||Q)=1
表示
P
和
公式定义
P
和
P 和
参考
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence