离散随机变量的熵的推导

熵应满足的性质

根据香侬的《通信的数学理论》, 对于随机变量 $X \sim p,$ 熵 $H(X) = H(p_1, \cdots , p_n)$ 应满足的性质为：

1. $H$ 应当关于 $p$ 连续。
2. 如果所有 $p_i$ 都相等，即 $p_i = \dfrac {1} {n}, \forall i \in \mathbb N, 1 \le i \le n,$ 则 $H$ 应当是 $n$ 的单调增函数。如果事件的可能性相等，那可能事件越多，选择或者说不确定性也更多。
3. 如果一项选择被分解为两个连续选择，则原来的 $H$ 应当是各个 $H$ 值的加权和。即：$H(Y) = H(X, Y) = H(X) + E_X \left (H(Y|X) \right )$

离散随机变量的熵的推导

命题 1

令 $A(n) = H( p_1 = \dfrac {1} {n}, \cdots p_n = \dfrac {1} {n}), n \in \mathbb N ^+$
则 $A(n ^m) = m A(n), m \in \mathbb N ^+$

证明：

$n = 1$ 时显然成立。
假设对于 $n$ 成立， 即 $A(n ^m) = m A(n),$
则对于 $n + 1,$ 假设有 $n^m$ 个桶，每个桶中有 $n$ 个球， 共计 $n^{m + 1}$ 个球。可以将在 $n^{m + 1}$ 个球中进行一次等概率选择看成两次连续选择：首先在 $n^m$ 个桶中进行一次等概率选择，然后如果选择了第 $i (i \in \mathbb N, 1 \le i \le n^m)$ 个桶， 再在第 $i$ 个桶中的 $n$ 个球中进行一次等概率选择。
由规则 3, A(nm+1)=H(Am)+∑