一些基本概念

交叉熵:p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。 NLP模型中，交叉熵就是衡量这个模型在测试集上的准确率。

 在给定 𝑝 的情况下，如果 𝑞 和 𝑝 越接近，交叉熵越小；如果 𝑞 和 𝑝 越远，交叉熵就越大。

KL（Kullback-Leibler Divergence）散度:也叫KL距离或相对熵，是用概率分布 𝑞 来近似 𝑝 时所造成的信息损失量。

KL散度非负，KL(p,q)>=0。p=q时，KL(p,q)=0。两个分布越接近，KL散度越小；两个分布越远，KL散度越大。

JS（Jensen-Shannon Divergence）散度:  是一种对称的衡量两个分布相似度 的度量方式。
 

其中， 

 Wasserstein 距离：也用于衡量两个分布之间的距离。

 

 Wasserstein 距离可以理解为搬运土堆的最小工作量，也称 为推土机距离（Earth-Mover’s Distance，EMD）。