KL散度(Kullback–Leibler divergence)
统计学上,KL散度用来衡量一个概率分布Q对另一个概率分布P偏离的程度,记为DKL(P||Q)D_{KL}(P||Q). 在信息论的编码理论中,KL散度也称为相对熵(relative entropy)或信息增益(information gain). 在,用来度量使用QQ的最优编码(而不是使用PP的最优编码)来编码来自PP的样本平均额外所需的比特数,即用概率分布QQ来拟合真实分布PP时产生的信息损耗。由
原创
2017-05-30 17:56:29 ·
972 阅读 ·
0 评论