本文介绍了信息论中的渐近均分性定理，阐述了信源分布等概时信息熵的最大化原理。通过典型集的概念，说明了序列中符号出现频数接近概率的性质。此外，还探讨了数据压缩的原理，指出通过编码可以有效地表示序列，平均码长接近信息熵。最后，讨论了高概率集与典型集的关系，展示了在概率意义上，高概率集的元素数量与典型集相似。
200731本篇是学习信息论的入门笔记，希望能与各位分享进步！这是第二章：渐近均分性~
2. 渐进均分性
2.1 渐进均分性定理
-
信息符号冗余度：冗余度高，符号携带的信息率低，易于压缩；
-
信源的冗余编码：提高单个信息符号所携带的信息量。
-
渐进等同分割性（Asymptotic Equipartition Property）结论：信源分布等概，信息熵最大。
-
定理2.1.1（渐进均分性）：设 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 是概率密度函数为p(x)的独立同分布(i.i.d)的随机变量，则
− 1 n log p ( X 1 , X 2 , ⋯ , X n ) → H ( X ) -\frac{1}{n} \log p\left(X_{1}, X_{2}, \cdots, X_{n}\right) \rightarrow H(X) −n1logp(X1,X2,⋯,Xn)→H(X) -
直观解释：当序列足够长时，一部分序列就显现出这样的性质：**序列中各个符号的出现频数非常接近于各自的出现概率，而这些序列的概率则趋近于相等，且它们的和非常接近于1，这些序列就称为典型序列。**其余的非典型序列的出现概率之和接近于零。
香农在1948年的《通信的数学理论》中注意到它并表述为一个定理。后来麦克米伦在1953年发表的《信息论的基本定理》一文中严格地证明了这一结果。
-
定义2.1.1（典型集）：设 X 1 , X 2 , . . . , X n X_1,X_2,...,X_n X1,X2,...,Xn 是概率密度函数为 p ( x ) p(x) p(x)的i.i.d随机序列，如果联合分布 p ( x 1 , x 2 , … , x n ) p(x_1, x_2,… ,x_n) p(x1,x2,…,xn)满足下列条件：
∣ log p ( x 1 , x 2 , ⋯ , x n ) n + H ( X ) ∣ ≤ ε \left|\frac{\log p\left(x_{1}, x_{2}, \cdots, x_{n}\right)}{n}+H(X)\right| \leq \varepsilon ∣∣∣∣nlogp(x1,x2,⋯,xn
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
