信息论与编码是这学期上的一门课程,最近几周一直在讲离散信源熵的概念以及计算,今天是这一章节的最后一节课,想对这一章节的概念做一个基本的总结
1.离散信源的分类和数学模型
在离散时间发出离散符号的信源称为离散信源。如果信源符号集为有限集,则称为有限离散信源。如果信源符号集为无限可数集,则称为无限离散信源。
离散无记忆信源的N次拓展源:设信源为X,则由X构成的N维随机矢量集合XN = X1X2X3...XN(其中Xi与X同分布),称为信源X的N次扩展源。
2.离散无记忆信源的熵
2.1离散平稳信源 若具有有限符号集A={a1,a2,a3,...,an}的信源X产生的随机序列{xi},i=...1,2...且满足:对所有的i1,i2,...in,h,j1,j2,...,jn及x