信息熵 Information Entropy

信息熵（Information Entropy），由克劳德·香农（Claude Shannon）在1948年提出，是一种度量信息系统中不确定性或随机性程度的量。其物理意义和定义如下：

定义：

物理意义：

1. 不确定性：熵反映了一个随机变量的结果有多不确定。如果一个事件的结果是完全确定的（即只有一个可能的状态，概率为1），则熵为0，因为没有不确定性。如果每个事件的结果是完全随机的且所有结果的概率相等，则熵达到最大值。

2. 信息量：熵可以理解为获取一个随机变量的具体值所需要的平均信息量。随机变量的熵越大，意味着从中提取的信息量越多。简而言之，熵表示平均需要多少信息来准确描述这个系统。

3. 系统复杂性：在物理系统中，熵也可以表示系统的复杂性或混乱程度。比如，在热力学中，熵是一个系统中微观状态数目的对数，代表系统的混乱度或无序程度。

举例：

总的来说，信息熵是用来量化系统的无序性、随机性或复杂性的重要概念，无论是在信息理论还是在物理学中，都有广泛的应用。

另外一个好帖子：信息熵(entropy)定义公式的简单理解_信息熵公式-CSDN博客