信息熵、相对熵、交叉熵总结

1、什么是信息熵
信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为：
$$H(P)=-\sum P(X)logP(X)$$
2. 什么是相对熵
相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计学中，当我们无法得知一个随机变量的真实分布，我们需要提出一个假设分布，并通过对相对熵进行优化得出最优的假设分布。具体公式为：
$$D(P||Q)=$$