相对熵(relative entropy)又称为KL散度(Kullback-Leibler divergence),KL距离,是两个随机分布间距离的度量。记为DKL(p||q)。它度量当真实分布为p时,假设分布q的无效性。
DKL(p||q) 表示在真实分布为p的前提下,使用q分布进行编码相对于使用真实分布p进行编码(即最优编码)所多出来的bit数。
https://blog.csdn.net/tsyccnh/article/details/79163834
https://blog.csdn.net/rtygbwwwerr/article/details/50778098