信息量, 信息熵, 信息增益, 互信息, 交叉熵与相对熵

最新推荐文章于 2023-09-24 15:43:56 发布

置顶

troysps

最新推荐文章于 2023-09-24 15:43:56 发布

阅读量1.2k

点赞数 1

分类专栏： MachineLearning

本文链接：https://blog.csdn.net/troysps/article/details/80917518

版权

本文介绍了信息量、熵、信息增益等信息论中的核心概念。信息量与事件发生的概率成反比，熵用于衡量事件的不确定性，信息增益则表示得知某一特征信息后对事件不确定性的减少。此外，还探讨了相对熵（KL散度）和交叉熵在损失函数中的应用，以及它们与均方误差函数的区别。

摘要由CSDN通过智能技术生成

熵

信息如何量化?

信息怎么度量, 在生活中当发生某些不可思议的事情, 往往我们会用’信息量大’, 这个词语进行描述。
那么信息量大, 这一词语在对信息量化中, 体现了哪些思路?
1. 当小概率事件发生时, 我们才会感觉’信息量大’
2. 当大概率事件发生时, 我们会感觉’理所应当’, ‘信息量小-正常操作’
已知上述信息量化度量的特点, 如何设置函数使用数学直观的表现信息量的大小？
假设事件 $\chi$ 是一个离散型随机变量, 其取值集合为 $\chi$ , 概率函数分布为 $p(x)=P(\chi=x), x\in \chi, 定义事件\chi=x_0的信息量为: I(x_0) = -\log(p(x_0))$
该函数满足: 当一个事件发生的概率越大, 它所携带的信息量就越小, 反之, 当一个事件发生的概率越小, 它所携带的信息量就越小。

熵: 事件不确定性的度量

在了解信息量如何度量之后, 如何确定一个事件发生的不确定性?
例如, 已知小明及格的概率为0.2, 不及格的概率为0.8, 那么小明成绩的不确定性如何度量?
很简单, 对小明考试这一事件的两种可能性求期望, 就可以转换为信息熵
信息熵: 实质上就是对事件的不确定性程度的度量
H(D)=−∑i=1npilog