香农信息熵、信息熵、交叉熵、KL散度和JS散度

一篇讲的比较好的链接：

https://baijiahao.baidu.com/s?id=1595106694519834247&wfr=spider&for=pc

内容相似的博客：

https://blog.csdn.net/neil3611244/article/details/82829103

香农信息量：-logP（x），它用来衡量随机变量X在x处的香农信息量

信息熵（又称为香农信息熵）：反应随机变量整体的信息量，它是香农信息量的数学期望：

不确定性越大，熵越大。

交叉熵：假设样本分布为P，我们深度网络学习的分布为Q。交叉熵则是用于衡量Q在拟合样本分布P过程中，用于消耗不确定性而充分利用的信息量大小。

KL散度：两个概率分布的相对熵，称为KL散度，用于刻画两个概率分布的拟合程度。

在生成对抗网络中（GAN），噪声生成的数据的概率分布Q拟合真实数据的概率分布P

KL散度=信息熵-交叉熵

JS散度：JS散度的出现是为了解决KL散度的不对称问题，因此是对称的，用于衡量两种不同分布之间的差异。取值在0~1之间。