离散信源小结

有无记忆

有记忆信源就是不独立的，无记忆信源就是独立的，把信息论和概率论结合在一起看这句话，在符号处理上会得到很大的启发。

$a_1, a_2$ 是两个事件，可以看做两个信源，有记忆、不独立意味着：

$$P(a_1a_2) = P(a_1)P(a_2|a_1)$$

参考概率论的知识；无记忆、独立意味着：

$$P(a_1a_2) = P(a_1)P(a_2)$$

平稳

上篇信息论的博文里说到一个信源平稳的定义是与时间起点无关，这个定义我一直难以理解，直到昨天的课上华老师讲清楚了，我们来看一个公式：

$$P(X_i = x) = P(X_j = x) = P(x)$$

不管事件 $X$ 的时间起点是 $i$ 还是 $j$，只要它发出的信号是 $x$，它发生的概率都是一样的，因此信息量也是一样的；所以一个平稳信源与时间起点无关，只与符号有关。

而与时间起点无关、可以平移这是一个重要性质，在很多定理的证明中都有运用。

极限熵