信源剩余度的计算java_信源的相关性和剩余度

信源的相关性是信源符号间的依赖程度的度量。

由于信源输出符号间的依赖关系也就是信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。

信源的剩余度(冗余度)是信源所含信息量与符号所能携带的最大信息量之间差别的度量。

信源的剩余度来自两个方面，一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小，另一方面是信源符号分布的不均匀性使信源的实际熵越小。

为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。

从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。

信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。

实际的信源总是或多或少地存在冗余，往往不能直接满足高效率传输信息的要求。为了实现信息的高效率传输，需要对信源产生冗余的原因进行分析，在此基础上对信源进行针对性的改造，使信源原有的信息含量从效率不高的情形转变为较高或尽可能高的情形，做到单位时间或单位符号所传输的信息量尽可能大。

无噪声的平稳、离散、无记忆信源(即各元之间相互独立)有效编码的实质是使各元的规律均匀化。

有记忆信源内部存在关联，它的信息含量密度就会降低。这就是说，为了提高信息传输的效率，应当尽可能消除信源的相关性，把有记忆的信源改造为无记忆的信源，或把记忆强的信源化为记忆弱的信源。消除信源相关