本篇博客,我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵,如果对熵的概念还有不清楚的朋友,可以看一下这一篇博客,信息熵是什么呢?
https://blog.csdn.net/ding_programmer/article/details/89785319
联合熵
两个离散随机变量 和
的联合概率分布函数为
,则联合熵 (Joint Entropy) 为:
联合熵实际上就是描述一对随机变量平均所需要的信息熵。
条件熵
条件熵 (Conditional Entropy) 表示在已知随机变量
的条件下随机变量
的不确定性。
条件熵和联合熵之间的关系 :
互信息
两个离散随机变量 和
的互信息 (Mutual Information) 为:
或者
上述公式的推导可以从Vnn 图中看出来
比较有意思的是;
这就是为什么熵叫作自信息了 ,另一方面 说明了 两个完全相互依赖的变量之间的互信息并不是一个常量,而是取决于它们的熵。由此可见 互信息 其实是 度量两个随机变量之间的统计相关性。
相对熵
相对熵 (Relative Entropy) 也称 KL 距离,设 是离散随机变量
的两个概率分布,则
对
的相对熵是
其中
交叉熵
交叉熵是用来衡量估计模型于真实概率分布之间差异情况的。如果一个随机变量 为用于近似
的概率分布,那么
和模型
之间的交叉熵 (cross entropy) 可以定义为
可以看出 估计模型 和 真实模型
之间的差异 。