KL-divergence、JS-divergence和Wasserstein距离
1.KL-divergenceKL散度又称为相对熵,信息散度,信息增益。KL散度是是两个概率分布P和Q 差别的非对称性的度量。 KL散度是用来 度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。KL散度定义如下:DKL(P∣∣Q)=∑x∈XP(x)logP(x)Q(x)D_{KL}(P||Q)=\...
翻译
2019-03-18 20:45:27 ·
4779 阅读 ·
2 评论