【信息论】码符号的信源编码定理

对于独立同分布的离散无记忆随机变量$X$产生的序列，如果其熵为$H(X)$，则如果要将其无损压缩为串$S=c_1{c}_2{c}_3...c_n$，其中 c i ∈ A = { a 1 , a 2 , . . . , a n } c_i∈A=\{a_1,a_2,...,a_n\} ci​∈A={a1​,a2​,...,an​}，则压缩后的最小平均码长$\mathbb{E}|S|$满足：

$$\frac{H(X)}{{\log }_2(|A|)}\le \mathbb{E}|S|<\frac{H(X)}{{\log }_2(|A|)}+1$$