马尔可夫链与“熵”的结合（初稿）

针对随机变量 X ，其熵 H(X)=-\sum_x p(x)\log_2 p(x) 可以衡量 X 的不确定度。

复杂一点，联合分布 (X,Y) ，熵为 H(X,Y)=-\sum_x\sum_yp(x,y)\log_2p(x,y) 。

而当这里的随机变量 X 变成一个随机过程 \{X_i\} 时，就有必要重新思考如何度量不确定度了。单个的定义 H(X_i) 不是很好，于是我们干脆定义一个比较平均一点的熵-熵率。

Definition 1：熵率（entropy rate）： 若极限 H(\chi)=\lim_{n \rightarrow \infty}\frac{ {H(X_1,X_2,...,X_n)}}{n} 存在，则 H(\chi) 称为 {X_i} 的熵率

另一个量也与熵率有不可描述的联系：