KL-divergence、JS-divergence和Wasserstein距离

1.KL-divergence

KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布P和Q 差别的非对称性的度量。 KL散度是用来 度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。
典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。
KL散度定义如下：
$$D_{KL}(P||Q)=\sum _{x\in X}P(x)log\frac{P(x)}{Q(x)}$$
因为对数函数是凸函数，所以KL散度的值为非负数。