渐近等分特性，典型序列，香农第一定理

1. AEP:渐近等分特性
   是独立同分布的随机变量序列，则
   是以概率意义成立的。这个公式推导依据大数定律和独立同分布特性得到，当n趋于无穷大时。
2. typical set 典型序列
   
   关于p(x)的典型集是序列的集合
   这是基于渐近等分特性的，所以此时的x之间必须独立同分布，且满足下列等式的集合H(X)是这个随机变量的熵，注意不是n个随机变量组成的随机序列的联合熵
   典型序列有如下性质：后面的编码定理等都是基于典型序列的定义。典型序列等概率出现，概率为

在进行编码时，我们都预先设定一个编码长度，在这个长度的预设下求出这些长度的编码所需的比特数，再除以编码长度就是平均每个字符所需的比特数。是可以用来编码的码字集，比如二进制码字集就是{0，1}。如果编码长度是n，就是用n个0，1的组合来表示随机变量的一个取值。此时可用的编码序列共有个，是码字集的个数，{0，1}就是2.

#定长编码定理的理论推导，（基于典型集）
考察长度为N的信源的分组编码长度，先考虑统计意义长度为N的平均码长，再分到每个符号所需的码长。
是长度为n的序列。等式1是将序列分为典型集和非典型集两类，不等式2是因为典型集的个数由性质3得到，再加1是防止非整数的情况，后面一个＋1是说明此序列是典型集。后面的非典型集的扩大是将非典型集的个数扩大的所有序列的个数，再加2的原因同理。继续不等式变形，即长度为n的序列可以用个比特表示。平均每个信源符号可以用长度为H(X)个比特表示。这就是定长编码定理，但在工程实践中不具有可行性。
编码效率=H(X)/用长度为n的典型序列编码后每个信源字母的平均字符数=
错误概率：进行定长编码，分组长度为n，分组长度的概念在后面经常用，只对典型序列编码，若出现非典型序列则出现错误。

最优前缀码定理（香农第一定理），变成编码定理，对单个信源进行编码，不进行分组。对随机变量X进行D-进制前缀码编码，得到的平均最优码长l*。香农编码的码字长度为即满足kraft不等式，即香农码存在。
在不使用定长编码定理的情况下，上限由变为1.虽然在工程实践中具有可行性，但是所需的比特数增加，于是引入分组前缀码，即变长编码定理和定长编码定理相结合。


若Xi的随机变量直接之间不是不是独立同分布的，则有