学习记录——香农熵

1.香农熵是什么？

          香农熵（Shannon Entropy）是信息论中的一个重要概念，由克劳德·香农在1948年提出，用来衡量一个系统的不确定性或信息量。香农熵常用于描述一个随机变量的不确定性程度，也可以用来衡量信息源的平均信息量。

      对于一个离散型随机变量，其香农熵的计算公式为：                                                   

                                               

       其中，p(x)表示随机变量X取某个值x的概率，log2表示以2为底的对数运算。这个公式表示了对每个可能取值x，用该值的概率乘以以2为底的对数概率的负值，然后将所有可能取值的结果相加，就得到了香农熵的值。

2.香农熵计算举例

       假设有一个数据集包含了一些动物及其对应的分类（"是"或"否"）。我们想要计算这个数据集的香农熵，以了解其中信息的混乱程度。