本文深入探讨信息熵的概念，通过函数图像分析事件的可能情况数和概率分布对其的影响。根据香农的定义，信息熵是不确定性的量化指标，当事件的可能情况增多或概率分布更均匀时，信息熵增大。利用Python绘制的图表进一步说明了这一现象。
摘要
本文通过函数图像介绍信息熵的概念.
相关
系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981
正文
信息熵：信息的基本作用就是消除人们对事物的不确定性.
信息熵是不确定程度的度量, 一个事件的不确定程度越大, 则信息熵越大.
香农 (Shannon) 提出信息熵的定义如下 :
e n t r o p y = − ∑ i = 1 n p i l o g ( p i ) entropy = -\sum_{i=1}^{n}p_ilog(p_i) entropy=−i=1∑npilog(pi)
为了方便理解, 需要补充条件 :
p i ⩽ 1    ∑ i = 1 n p i = 1 p_i \leqslant 1\\ \;\\ \sum_{i=1}^{n}p_i =1 pi⩽1
最低0.47元/天 解锁文章
7525
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
