【熵】随机变量的熵的例子

目录

随机变量的熵的例子

1. 熵的数学定义

2. 熵的直观理解

3. 熵的例子

例子 1：抛硬币

例子 2：掷骰子

例子 3：偏硬币

例子 4：确定性事件

4. 熵的性质

5. 熵的应用

总结

---

随机变量的熵的例子

随机变量的熵（Entropy）是信息理论中的一个重要概念，用来度量一个随机变量的不确定性或信息量。

熵越大，表示系统的状态越不确定；熵越小，表示系统的状态越确定。

熵的定义由克劳德·香农（Claude Shannon）在信息论中提出，通常用于度量信息的平均不确定性。

1. 熵的数学定义

对于离散随机变量 X，其熵 H(X) 定义为：

其中：

•  是随机变量 X 的所有可能取值的集合。
• P(x) 是 X取值为 x 的概率。
• ​ 是以2为底的对数，表示信息的单位是比特（bit）。

对于连续随机变量，熵的定义为：

其中 p(x)是随机变量 X的概率密度函数。

熵的单位通常是比特（bit），特别是对于离散随机变