关于离散平稳信源的扩展信源的简单性质的练习题目（扩展信源划重点

• 如果两个符号的二次扩展信源不太明白，不妨看看这篇~

• 设有一个信源，它产生 $0,1$ 序列的消息。它在任意时间而且以前发生过什么符号，均按 $P(0)=0.4,P(1)=0.6$ 的概率发出符号。
  (1) 试问这个信源是否平稳的？
  (2) 试计算 $H(X^2),H(X_3/X_1{X}_2)$ 及 $\underset{N\to \infty }{\lim }{H}_N(X\text{X}X)$；
  (3) 试计算 $H(X^4)$ 并写出 $X^4$ 信源中可能有的所有符号。
• 解：
  (1) 根据题意，此信源在任何时刻发出的符号概率都是相同的，均按 $P(0)=0.4,P(1)=0.6$ ，即信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的。所以这信源是平稳信源，而且是离散无记忆信源。
  (2) 此离散无记忆信源为
  $$\left[\begin{array}{c}X\\ P(x)\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 0.4& 0.6\end{array}\right]$$
  可计算得
  $$H(X)=-(0.4log0.4+0.6log0.6)=0.971比特/符号$$
  因为信源是平稳无记忆信源，信源输出序列之间无依赖，所以
  $$\begin{gathered} H(X^2)=2H(X)\approx 1.94比特/两个符号 \\ H(X_3/X_1{X}_2)=H(X_3)=H(X)\approx 0.971比特/符号 \\ \begin{array}{rl}\underset{N\to \infty }{\lim }{H}_N(X\text{X}X)=& \underset{N\to \infty }{\lim }\frac{1}{N}H(X_1{X}_2\cdots X_N)\\ =& \underset{N\to \infty }{\lim }\frac{1}{N}\cdot N\cdot H(X)\\ =& H(X)\approx 0.971比特/符号\end{array} \end{gathered}$$
  (3)$$H(X^4)=4H(X)\approx 3.88比特/四个符号$$
  $X^4$ 信源中可能的所有符号是四位二进制排序，即有 $16$ 种符号
  $$\begin{array}{cccc}0000& 0001& 0010& 0011\\ 0100& 0101& 0110& 0111\\ 1000& 1001& 1010& 1011\\ 1100& 1101& 1110& 1111\end{array}$$