文章目录 信息熵交叉熵相对熵条件熵互信息 信息熵 信源所有可能发生情况的平均不确定性。 交叉熵 衡量两个变量的概率分布的差异性。 相对熵 用模型来衡量真实情况所需要的额外信息。 相对熵越小,模型就越接近真实分布。 条件熵 表示在已知随机变量Y的条件下随机变量X的不确定性。 互信息 互信息(Mutual Information)可以被看成是一个随机变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不确定性。