交叉熵:p表示真实标记的分布,q则为训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。 NLP模型中,交叉熵就是衡量这个模型在测试集上的准确率。
在给定 𝑝 的情况下,如果 𝑞 和 𝑝 越接近,交叉熵越小;如果 𝑞 和 𝑝 越远,交叉熵就越大。
KL(Kullback-Leibler Divergence)散度:也叫KL距离或相对熵,是用概率分布 𝑞 来近似 𝑝 时所造成的信息损失量。
KL散度非负,KL(p,q)>=0。p=q时,KL(p,q)=0。两个分布越接近,KL散度越小;两个分布越远,KL散度越大。
JS(Jensen-Shannon Divergence)散度:
是一种对称的衡量两个分布相似度
的度量方式。
![](https://i-blog.csdnimg.cn/blog_migrate/10e40fbc4bcc87897ec345e6901adf28.png)
其中,
Wasserstein 距离:也用于衡量两个分布之间的距离。
Wasserstein 距离可以理解为搬运土堆的最小工作量,也称 为推土机距离(Earth-Mover’s Distance,EMD)。