熵速率定义与各类熵的关系_熵的速率公式-CSDN博客

本文链接：https://blog.csdn.net/m0_52316372/article/details/129178590

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

熵速率 (entropy rate)

定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为
$H=\lim _{n \rightarrow \infty} H(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1})$
具有记忆性的信源的熵速率定义为

$H=\lim _{n \rightarrow \infty} \frac{1}{n} H\left(X_{1}, X_{2}, \ldots, X_{n}\right)$

Example 两个二进制随机变量 $\mathbf{X}$ 和 $\mathbf{Y}$ , 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。

计算 $H (X)$ , $H (Y)$ , $\mid Y)$ , $\mid X)$ , and $H (X, Y)$ 。

Solution:

$\begin{array}{l} p(X=0)=p(X=0, Y=0)+p(X=0, Y=1)=\frac{2}{3} \\ p(X=1)=p(X=1, Y=0)+p(X=1, Y=1)=\frac{1}{3} \\ p(Y=0)=p(X=0, Y=0)+p(X=1, Y=0)=\frac{1}{3} \\ p(Y=1)=p(X=0, Y=1)+p(X=1, Y=1)=\frac{2}{3} \\ H(X)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \quad H(Y)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \\ H(X, Y)=\sum_{i=1}^{n} p(X, Y) \log (X, Y)=\log 3=1.585 \\ H(X \mid Y)=H(X, Y)-H(Y)=0.6667 \quad H(Y \mid X)=H(X, Y)-H(X)=0.6667 \end{array}$

各类熵的关系

条件熵不大于信息熵

熵的不增原理: $\leq H(Y)$

联合熵不大于个信息熵的和，即

$H\left(X_{1} X_{2} \ldots X_N\right) \leq \sum_{i=1}^{N} H\left(X_{i}\right)$

仅当各 $X_{i}$ 相互独立时, 等号成立。
$\mid X)=H(Y)+H(X \mid Y)$
$\geq H(X \mid Y) ; H(Y) \geq H(Y \mid X)$

参考文献：

Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.