信息熵(Information Entropy),由克劳德·香农(Claude Shannon)在1948年提出,是一种度量信息系统中不确定性或随机性程度的量。其物理意义和定义如下:
定义:
物理意义:
-
不确定性:熵反映了一个随机变量的结果有多不确定。如果一个事件的结果是完全确定的(即只有一个可能的状态,概率为1),则熵为0,因为没有不确定性。如果每个事件的结果是完全随机的且所有结果的概率相等,则熵达到最大值。
-
信息量:熵可以理解为获取一个随机变量的具体值所需要的平均信息量。随机变量的熵越大,意味着从中提取的信息量越多。简而言之,熵表示平均需要多少信息来准确描述这个系统。
-
系统复杂性:在物理系统中,熵也可以表示系统的复杂性或混乱程度。比如,在热力学中,熵是一个系统中微观状态数目的对数,代表系统的混乱度或无序程度。
举例:
总的来说,信息熵是用来量化系统的无序性、随机性或复杂性的重要概念,无论是在信息理论还是在物理学中,都有广泛的应用。