熵的性质

规定 $0 \ln 0= 0,$

性质1

对于任意一个取值个数为 $n$ 的随机变量 $X \sim p,$
$H(X) \le \ln n,$ 当且仅当 $p_i = \dfrac {1} {n} , \forall i \in \mathbb N ^+$ 时等号成立。

证明

$\ln x \le x - 1, \forall x \in (0, + \infty),$ 当且仅当 $x = 1$ 时等号成立。
$H(X) - \ln n= - \sum _{i = 1} ^{n} p_i \ln p_i - \sum _{i = 1} ^{n} p_i \ln n$
$= - \sum _{i = 1} ^{n} p_i \ln ( n p_i )$
$= \sum _{i = 1} ^{n} p_i \ln \dfrac {1} {n p_i}$
$\le \sum _{i = 1} ^{n} p_i ( \dfrac {1} {n p_i} - 1)$
$= 0$
当且仅当 $\dfrac {1} {n p_i}= 1 \Leftrightarrow p_i = \dfrac {1} {n} , \forall i \in \mathbb N ^+$ 时等号成立。

性质2

设变量 $X \sim p, Y|X \sim q, Z = (X, Y),$ 则
$H(Z) = H(X) + E_X(H (Y|X ))$

证明

不妨设 $Z = (X, Y) \sim r,$

离散变量

$H(X) = - \sum _{i = 1} ^{\infty} p_i \ln p_i$
$H(Y | x_i) = - \sum _{j = 1} ^{\infty} q_{ij} \ln q_{ij}, \forall i \in \mathbb N ^+,$
$H(Z) = - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} r_{ij} \ln r_{ij}$
因此
$H(Z) = H(X) + E_X(H (Y|X ))$
$= H(X) + \sum _{i = 1} ^{\infty} p(x_i) H(Y | x_i)$
$= - \sum _{i = 1} ^{\infty} p_i \ln p_i + \sum _{i = 1} ^{\infty} p_i (- \sum _{j = 1} ^{\infty} q_{ij} \ln q_{ij})$
$= - \sum _{i = 1} ^{\infty} p_i (\sum _{j = 1} ^{\infty} q_{ij}) \ln p_i + \sum _{i = 1} ^{\infty} p_i (- \sum _{j = 1} ^{\infty} q_{ij} \ln q_{ij})$
$= - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} p_i q_{ij} \ln p_i - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} p_i q_{ij} \ln q_{ij}$
$= - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} (p_i q_{ij} \ln p_i + p_i q_{ij} \ln q_{ij})$
$= - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} p_i q_{ij} \ln (p_i q_{ij})$
$= - \sum _{i = 1} ^{\infty} \sum _{j = 1} ^{\infty} r_{ij} \ln r_{ij}$
$= H(Z)$

连续变量

$H(Z) = H(X) + E_X(H (Y|X ))$
$= H(X) + \int _{- \infty} ^{+ \infty} p(x) H (Y|x ) \mathrm {d} x$
$= \int _{- \infty} ^{+ \infty} p(x) \ln p(x) \mathrm {d} x + \int _{- \infty} ^{+ \infty} p(x) [\int _{- \infty} ^{+ \infty} q(y | x) \ln q(y | x) \mathrm {d} y] \mathrm {d} x$
$= \int _{- \infty} ^{+ \infty} p(x) [\int _{- \infty} ^{+ \infty} q(y | x) \mathrm {d} y] \ln p(x) \mathrm {d} x + \int _{- \infty} ^{+ \infty} p(x) [\int _{- \infty} ^{+ \infty} q(y | x) \ln q(y | x) \mathrm {d} y] \mathrm {d} x$
$= \int \int _{- \infty} ^{+ \infty} p(x) q(y | x) \ln p(x) \mathrm {d} x \mathrm {d} y + \int \int _{- \infty} ^{+ \infty} p(x) q(y | x) \ln q(y | x) \mathrm {d} x \mathrm {d} y$
$= \int \int _{- \infty} ^{+ \infty} p(x) q(y | x) \ln \left (p(x) q(y | x) \right ) \mathrm {d} x \mathrm {d} y$
$= \int \int _{- \infty} ^{+ \infty} r(x, y) \ln r(x, y) \mathrm {d} x \mathrm {d} y$
$= H(Z)$