机器学习之熵的计算方法及香农信息熵的含义

熵的概念

        熵是信息论中用于量化数据不确定性或混乱程度的一个指标。由克劳德·香农（Claude Shannon）在其1948年的论文《通信的数学理论》中首次提出，因此也称为“香农熵”。

香农熵的计算公式

香农熵 H 的计算公式为：

其中：

• pi​ 是第 i 个事件发生的概率。
• n 是所有可能事件的总数。
• 对数的底数通常取2，这样熵的单位是比特（bits）。

公式的理解

• 对数的作用 ：对数将乘法关系转化为加法关系，有助于处理不同概率之间的相互影响。
• 负号的意义 ：由于  的范围在0到1之间，​ 是非正的。负号确保了熵值为非负数。

计算步骤

以一个简单的例子说明:

示例：抛一枚公平硬币

• 可能的结果：正面（H）、反面（T）
• 概率分布：
  • p(H)=0.5
  • p(T)=0.5

计算熵：

计算每一项：

因此：

熵的性质

• 对称性 ：熵值仅与概率分布有关，不考虑事件的顺序。
• 最大值 ：对于 n 个等可能事件，熵达到最大值 ，表示最大的不确定性。
• 最小值 ：当只有一个事件发生的概率为1，其他均为0时，熵为0，表示完全确定。

应用

• 数据压缩 ：高熵意味着数据中存在大量重复或冗余，可以被有效压缩。
• 分类与决策树 ：用于选择特征以最大化信息增益，降低不确定性。
• 密码学 ：确保加密后的数据具有高熵，防止被轻易破解。

总结

        香农熵通过概率分布量化了数据的不确定性和信息量。计算时使用公式，其值越大表示数据越混乱、不确定性越高，反之则越有序和确定。在多个领域如数据压缩、机器学习和密码学中具有广泛的应用价值。