信息论与编码_香农三大定理

离散平稳无记忆序列变长编码定理（无失真信源编码定理、香农第一定理）：

香农第一定理是克劳德·香农在 1948 年提出的，它指出，对于任何一个给定的信息源，其信息熵（即信息的期望值）是有限的，并且信息熵越大，则信息的不确定性就越大。

离散平稳无记忆序列变长编码定理是香农在 1952 年提出的。它指出，对于任何一个无记忆的离散平稳信息源（即每个状态的概率不会受到先前状态的影响，且每个状态出现的概率是恒定的），都存在一种最优的变长编码方式，使得信息的压缩效率最大。

（有噪）信道编码定理（香农第二定理）：

限失真信源编码定理（香农第三定理）：

···························································
由于这些定理都要求符号数很大时才能使它的值接近所规定的值，因而这些定理被称为极限定理。