离散信源熵

信息论与编码是这学期上的一门课程，最近几周一直在讲离散信源熵的概念以及计算，今天是这一章节的最后一节课，想对这一章节的概念做一个基本的总结

1.离散信源的分类和数学模型

　　在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集，则称为有限离散信源。如果信源符号集为无限可数集，则称为无限离散信源。

离散无记忆信源的N次拓展源：设信源为X，则由X构成的N维随机矢量集合X^N = X₁X₂X₃...X_N(其中X_i与X同分布)，称为信源X的N次扩展源。

2.离散无记忆信源的熵

　　2.1离散平稳信源   若具有有限符号集A={a₁,a₂,a₃,...,a_n}的信源X产生的随机序列{x_i},i=...1,2...且满足：对所有的i₁,i₂,...i_n,h,j₁,j₂,...,j_n及x