信息论day4：信源编码；香农公式

信源编码

信源编码的目的是提高传输效率

信源编码的基本做法：
（1）去除信息中的冗余度，使传输的符号间的相关度尽可能小
（2）使编码后的符号具有近似等概的分布特性
（3）采用不等长编码，对出现概率大的符号用较短的码元序列表示，对概率小的符号用较长的码元序列表示，从而提高传输效率
（4）允许一定失真的条件下，如何实现高效编码

---

帮助理解信源编码

1.信源的符号集
{S:S_i，i=1，2，……L}
即信源包含了L种不同的符号

2.信源的输出符号序列可表示为：
…X_-2X_-1X₀X₁X₂…X_n……
其中的每个符号X_k均来自符号集，即有X_k∈{S:S_i,i=1,2,……L}

3.若对信源输出的符号序列按照每J个为一组进行编码，则任意的第m个信源符号分组可以表示为

这样分组的情况下，不同符号分组的个数是L