典型集与Shannon信源编码理论

1. 弱大数定律

1.1 随机变量依概率收敛
考虑一个与$n$有关的随机变量，通常是对$n$个随机变量求和得到的新随机变（见后面的弱大数定律）量，记这个随机变量为$X$。如果我们说这个随机变量“依概率收敛”于一个常量$u$，则我们记为
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X-u|<ϵ)=1.$$

此外还有3个等价的表达：
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X-u|\le ϵ)=1.$$
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X-u|<ϵ)>1-ϵ.$$
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X-u|\le ϵ)>1-ϵ.$$
$■$
1.2 弱大数定律
考虑$n$个独立同分布（i.i.d.）的随机变量$X_1,X_2,\cdots ,X_n$，他们的平均值均为$u$，即$E(X_i)=u$。则考虑一个新的随机变量
$$X=\frac{X_1+X_2+\cdots +X_n}{n}.$$则弱大数定律告诉我们，$X$“依概率收敛”到$u$。可以按照1.1写出四种表达式。
$■$
1.3 形式复杂的随机变量与弱大数定律
一些随机变量可能是最简单的随机变量通过某种变化得来的，比如一个随机变量$X$，通过某种函数$f$，得到一个新的随机变量$f(X)$。这个函数甚至可以是这个随机变量自己的概率函数，$p(x)$。比如某个随机变量的概率函数为
$$p(x)=\{\begin{array}{l}1/3,x<0\\ 2/3,x\ge 0\end{array}$$那么有
$$p(X)=\{\begin{array}{l}1/3,X<0\\ 2/3,X\ge 0\end{array}$$这就是一个随机变量。因为最终的取值和概率有关（因为$X$的取值和概率有关所以最后的函数取值也和概率有关）。

我们仍然考虑$n$个i.i.d.的随机变量$X_1,X_2,\cdots ,X_n$,并且记他们的概率函数为$p(x)$，平均值为$E(X)={\sum }_{x}p(x)x=u$。现在考虑一组新的随机变量$-\log p(X_1),-\log p(X_2),\cdots ,-\log p(X_n)$，显然他们的平均值为
$$E(-\log p(X_i))=\sum _x-p(x)\log p(x)=H(X).$$

我们定义新的随机变量
$$X^{{}^{\prime }}=\frac{-\log p(X_1)-\log p(X_2)-\cdots -\log p(X_n)}{n},$$然后应用1.2可以得到
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X^{{}^{\prime }}-H(X)|<ϵ)=1.$$
$■$

2. 弱典型集

2.1 弱AEP-I
由1.3得到
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X^{{}^{\prime }}-H(X)\le ϵ|)>1-ϵ.$$$■$
2.2 弱典型集定义
2.1中给出了一个由$ϵ$控制的不等式，并且依概率收敛意味着2.1只在$n$足够大的时候成立。现实中$n$可能并不是足够大，所以根据显示中有限的$n$的大小，定义了弱典型集。

弱典型集仍然基于$n$个i.i.d.随机变量$X_1,X_2,\cdots ,X_n$，记这些随机变量和随机变量$X$的概率函数相同，于是有$p(x_i)=p(x)$。有了这些随机变量，我们定义一个序列为
$$\mathbf{x}=(x_1,x_2,\cdots ,x_n).$$注意这里是具体的取值序列，不再是随机变量。显然，目前对这个序列没有任何限制，它可以取到满足定义的所有值，接下来我们要做的就是给他加上限制，使得这个序列只可以取到某些值。

考虑一个比较小的正数$ϵ$，我们加上限制
$$|-\frac{1}{n}\log p(\mathbf{x})-H(X)|\le ϵ.$$满足这个限制的$\mathbf{x}=(x_1,x_2,\cdots ,x_n)$的所有取值构成了一个集合，这个集合就是弱典型集，他与$n$,$X$,$ϵ$有关，记为$W_{[X]ϵ}^n$.
$■$

为什么要定义弱典型集，是为了将弱AEP-I更好地扩展成弱AEP-II。

2.3 弱AEP-II
(1) 根据弱典型集的定义，我们有
$$2^{-n(H(X)+ϵ)}\le p(\mathbf{x})\le 2^{-n(H(X)-ϵ)}$$弱典型集本来就是对概率函数的取值进行约束得到的一个集合，因此弱典型集中的序列的概率有上界和下界。
(2)
$$\underset{n\to \infty }{\lim }p(X^{{}^{\prime }}\in W_{[X]ϵ}^n)>1-ϵ.$$2.1中定义的随机变量取得弱典型集中序列的概率大于$1-ϵ$。
(3)关注弱典型集的大小，当$n\to \infty$时
$$(1-ϵ)2^{n(H(X)-ϵ)}\le |W_{[X]ϵ}^n|\le 2^{n(H(X)+ϵ)}$$这里的上下界由(1)中$p(\mathbf{x})$的上下界推导得来，并且反向对应（这里的上界对应(1)的下界）。
证明：
(1)不用证明，打开弱典型集定义的绝对值显然得到。
(2)通过概念说明。由若AEP-I我们知道，对于随机变量$X^{{}^{\prime }}$，有
$$\forall ϵ>0,\underset{n\to \infty }{\lim }p(|X^{{}^{\prime }}-H(X)\le ϵ|)>1-ϵ.$$在这里，我们实际上确定了$ϵ$，然后确定相应的$W_{[X]ϵ}^n$，因此上式我们其实是对于一个确定的$ϵ$，有
$$\underset{n\to \infty }{\lim }p(|X^{{}^{\prime }}-H(X)\le ϵ|)>1-ϵ.$$这个式子的实际意义是：随机变量$X^{{}^{\prime }}$可以取到一些与$H(X)$的绝对值相差小于等于$ϵ$的序列值，取到这些序列值的的概率的和大于$1-ϵ$。通过弱典型集的定义我们知道，这里的概率就是$X^{{}^{\prime }}$取到弱典型集$W_{[X]ϵ}^n$中序列值的概率。因此有
$$\underset{n\to \infty }{\lim }p(X^{{}^{\prime }}\in W_{[X]ϵ}^n)>1-ϵ.$$(2)实际上是弱AEP-I结合弱典型集概念的一个重表示。

下面证明(3)。弱典型集的大小与其中每个序列的概率密切相关，通过(1)中的概率下界我们知道每个序列的概率满足
$$2^{-n(H(X)+ϵ)}\le p(\mathbf{x}).$$所有弱典型集中序列的概率和小于等于1（如果等于1说明弱典型集几乎包括了所有序列）。因此有
$$2^{-n(H(X)+ϵ)}|W_{[X]ϵ}^n|\le p(W_{[X]ϵ}^n)\le 1,$$得到
$$|W_{[X]ϵ}^n|\le 2^{n(H(X)+ϵ)}.$$另一边通过相似的方式，结合(2)可以证明得到。可见，弱典型集的大小上下界和(1)中弱典型集每个向量的概率上下界是反向对应的。
$■$

弱典型集意义何在？弱AEP-II如何给出有意义的结论？

2.4 弱典型集的大小占比以及概率占比。
通过弱AEP-II的(2)我们可以看出，弱典型集的序列发生的概率基本上占了所有序列发生的概率的和。这是建立在我们取的较小的$ϵ$的前提下，保证了概率大于$1-ϵ$，如果$ϵ$取值过大，实际上既没办法保证弱典型集中序列概率占比大。比如$ϵ$取0.6，那只能保证弱典型集中序列概率和大于0.4。

我们确定了发生概率大的序列有什么用呢？在信源编码的时候，我们如果对发生概率比较大的序列用更高级的更精巧的编码方法，保证错误率很小，甚至没有错误，那么对于整体传输过程，整体错误率就很小，甚至没有（无限接近于0）。但是，如果这些占据很大概率的序列的集合很大，甚至大到几乎占据了整个可能的序列的空间，那其实上述的讨论是没有意义的，相当于我们对所有可能序列都需要高级且精巧的编码。而我们想要的理想情况是：某些序列的发生概率十分高，这些序列数量很少，我们只需要照顾好这些序列，其他发生概率小的序列甚至不用编码，我们都能得到很好误码率。

所以弱典型集的大小，或者说相对于整个可能的序列的大小的占比有多少呢？根据弱AEP-II的(2)的(3)我们知道
$$(1-ϵ)2^{n(H(X)-ϵ)}\le |W_{[X]ϵ}^n|\le 2^{n(H(X)+ϵ)}$$而整个可能序列的集合大小为$|\chi {|}^n$（$\chi$是序列中每个元素的取值取值空间，即$x_i\in \chi$）。上面的不等式同时除以$|\chi {|}^n$得到(注意$|\chi {|}^n=2^{n\log |\chi |}$)
$$(1-ϵ)2^{n(H(X)-ϵ-\log |\chi |)}\le \frac{|W_{[X]ϵ}^n|}{|\chi {|}^n}\le 2^{n(H(X)+ϵ-\log |\chi |)}.$$由熵的上界可知$H(X)-\log |\chi |<0$，因此在$ϵ$足够小的时候，如果能保证$H(X)+ϵ-\log |\chi |<0$，那么上面不等式的最大值必然在$n\to \infty$时逼近0，这意味着弱典型集在整个可能的序列空间的占比很小。
$■$

3. 香农信源编码定理

前面讨论弱典型集，就是为了引出香农信源编码理论。实际上，香农信源编码理论的正向部分，就是选取了弱典型集中的码字进行编码。反向部分也是利用弱AEP进行证明。

对于信源编码，我们考虑$n$个随机变量的编码，即对随机序列$(X_1,X_2,\cdots ,X_n)$进行编码。其中，$x_i\in \chi$，所以有
$$(x_1,x_2,\cdots ,x_n)\in {\chi }^n.$$如前面讨论的，为了保证误码率为0，我们可以对整个${\chi }^n$中的序列全部进行编码，可是这样效率最低。最理想的信源编码只对${\chi }^n$中部分序列进行编码，剩下的序列可以忽略，达到对整体误码率影响很小的结果。我们记我们只对$\chi$的一个子集$\mathbf{A}$进行编码，于是$\mathbf{A}\subset {\chi }^n$。记这个子集的序列被编码成的码字集合的大小为$M=|\mathbf{A}|$. 因为表示这$M$个码字需要约$\log M$个比特，所以定义码率（coding rate）为
$$\frac{\log M}{n}.$$显然，码率越小（大量的序列不用考虑，直接丢掉），我们的编码越高效。
香农信源编码理论讨论的是如何选取$\mathbf{A}$，能够完成误码率逼近0且码率尽量小的高效编码。

3.1 香农信源编码正向部分（direct part）
如果允许误码率为任意小量（any small quantity），存在一个分组码（block code）在$n$足够大（即接近于无穷大）的时候任意接近于熵$H(X)$。
证明：
我们证明，其实令$\mathbf{A}=W_{[X]ϵ}^n$就可以得到一个满足条件的编码方案。
根据弱AEP-II中的(3)，我们知道有
$$(1-ϵ)2^{n(H(X)-ϵ)}\le M=|W_{[X]ϵ}^n|\le 2^{n(H(X)+ϵ)}.$$于是码率满足
$$\frac{\log (1-ϵ)}{n}+(H(X)-ϵ)\le \frac{\log M}{n}\le H(X)+ϵ.$$显然，当$ϵ$足够小的时候，码率接近$H(X)$。这保证了我们的编码足够高效，即考虑的序列大小$\mathbf{A}$足够小。下面我们还需要证明在这种编码下，误码率也接近于0.

根据弱AEP-II中的(2)，我们知道在$n\to \infty$时
$$p(X\in W_{[X]ϵ}^n)>1-ϵ,$$这意味着误码率
$$P_e<ϵ.$$当$ϵ$足够小的时候，误码率为0.
$■$

香浓编码定理的正向部分告诉了我们，只考虑弱典型集中的序列，我们可以在$n$足够大并且$ϵ$足够小的时候得到一个码率接近$H(X)$并且误码率接近0的信源编码方案。这里码率与$H(X)$、误码率与0的接近程度，收到$n$的大小和$ϵ$大小的影响。

有了香农信源编码定理的正向部分，我们自然会有一个疑问，是否我们还可以进一步压缩码率，找到一个码率小于$H(X)$并且误码率几乎为0的信源编码方案呢。香农信源编码的反向部分就揭示了这个问题的答案。

3.2 香农信源编码反向部分（converse part）
如果一个分组码的信源编码的码率为
$$H(X)-\zeta ,\zeta >0$$其中$\zeta$是一个常数（不随$n$变化）。那么这个分组码的误码率在$n$足够大的时候接近于1.
证明：
仍然是考虑弱典型集。根据弱AEP-II中的(1)，一个弱典型集中的序列的概率满足
$$2^{-n(H(X)+ϵ)}\le p(\mathbf{x})\le 2^{-n(H(X)-ϵ)}.$$因此当我们有一个$\mathbf{A}$的时候，我们假设它的序列全部是弱典型集中的序列，则$\mathbf{A}$中序列的总的概率上界为
$$M{2}^{-n(H(X)-ϵ)}.$$码率为$H(X)-\zeta$，那么$M=2^{n(H(X)-\zeta )}$。于是我们假设$\mathbf{A}$中的全部序列均为弱典型集最终的序列的话，$\mathbf{A}$中序列的总的概率上界为
$$2^{n(H(X)-\zeta )}{2}^{-n(H(X)-ϵ)}=2^{-n(\zeta -ϵ)}.$$

观察上式，我们发现，如果将$\zeta$取0，即我们编码方案的码率为$H(X)$，则$\mathbf{A}$中序列的总的概率上界在$ϵ\to 0$的条件下逼近1。这意味着我们编码的序列几乎占据了所有序列，误码率逼近0。同样的，我们考虑将$\zeta$取$ϵ$或者$-ϵ$也能得到逼近0的误码率，在这种情况正是香农信源编码的正向部分。

在这里的假设，我们有$\zeta$是个正常数，且不随$n$变化。因此总是存在一个$ϵ$使得$\zeta -ϵ>0$。另一方面，我们其实还需要考虑假设$\mathbf{A}$中的序列不全是弱典型集的序列。实际上，我们根据弱AEP-II可以知道，弱典型集的序列的概率几乎占据了整个概率，即接近于1，而非弱典型集序列的概率和满足
$$p(X\notin W_{[X]ϵ}^n)<ϵ.$$这也是一个很小量。基于上面的分析，$\mathbf{A}$能够包含的序列的概率的总和一定是小于
$$2^{-n(\zeta -ϵ)}+p(X\notin W_{[X]ϵ}^n)$$的。而这个式子在$n\to \infty$时逼近0，这意味着误码率逼近1。
$■$

4. Efficient Source Coding

考虑长度为$n$的二进制序列$\mathbf{Y}=(Y_1,Y_2,\cdots ,Y_n)$，他的熵满足不等式
$$H(\mathbf{Y})\le n,$$当且仅当$Y_i$相互独立（mutually independent）且在 { 0 , 1 } \{0,1\} {0,1}上均与分布时取等号。
证明：
根据链式法则有
$$H(\mathbf{Y})=\sum _{i=1}^{n}H(Y_i|Y_1,\cdots ,Y_{i-1}).$$根据条件熵小于本原熵的定理，有
$$H(\mathbf{Y})\le \sum _{i=1}^{n}H(Y_i).$$取等号时有
$$\begin{gathered} p(x_1,x_2)=p(x_1)p(x_2) \\ p(x_1,x_2,x_3)=p(x_1,x_2)p(x_3) \\ ⋮ \\ p(x_1,x_2,\cdots ,x_n)=p(x_1,\cdots ,x_{n-1})p(x_n) \end{gathered}$$进一步得到
$$p(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}p(x_i),$$即相互独立。

当$Y_i$取 { 0 , 1 } \{0,1\} {0,1}上的均匀分布时有
$$H(Y_i)=1.$$于是
$$H(\mathbf{Y})=n.$$

5. 强典型集

5.1 强典型集定义
考虑长度为$n$的随机变量序列$(X_1,X_2,\cdots ,X_n)$，其中$X_i$独立同分布(i.i.d.)，概率函数为$p(x)$。一个序列记为$\mathbf{x}=(x_1,x_2,\cdots ,x_n)$，其中$x_i\in \chi$。记$N(x,\mathbf{x})$为$\mathbf{x}$中$x$出现的次数。则强典型集$T_{[X]\delta }^n$是满足以下条件的序列的集合
$$\sum _{x\in \chi }|\frac{N(x,\mathbf{x})}{n}-p(x)|\le \delta ,$$其中$\delta$是一个足够小的正数。
$■$

弱典型集通过比较$p(x)$与$H(X)$的关系定义，强典型集通过比较$N(x,\mathbf{x})$与$p(x)$之间的关系定义。

5.2 强AEP
存在一个$\eta >0$，在$\delta \to \infty$时也$\eta \to \infty$，并使得下列不等式成立：
(1)
$$2^{-n(H(X)+\eta )}\le p(\mathbf{x})\le 2^{-n(H(X)-\eta )}$$
(2)
$$p(X\in T_{[X]\delta }^n)>1-\delta$$
(3)
$$(1-\delta )2^{n(H(X)-\eta )}\le |T_{[X]\delta }^n|\le 2^{n(H(X)+\eta )}$$
证明：
(1)的证明要通过强典型集基于$N(x,\mathbf{x})$的定义转换到$p(\mathbf{x})$上，于是
$$p(\mathbf{x})=\prod _{i=1}^{n}p(x_i)=\prod _{x\in \chi }p(x{)}^{N(x,\mathbf{x})}$$
$$\begin{array}{rl}\log p(\mathbf{x})& =\sum _{x\in \chi }N(x,\mathbf{x})\log p(x)\\ & =\sum _{x\in \chi }(N(x,\mathbf{x})-np(x)+np(x))\log p(x)\\ & =-nH(X)+n\sum _{x\in \chi }(\frac{N(x,\mathbf{x})}{n}-p(x))\log p(x)\end{array}$$根据强典型集的定义，有
$$\begin{array}{rl}& |\sum _{x\in \chi }(\frac{N(x,\mathbf{x})}{n}-p(x))(-\log p(x))|\\ \le & \sum _{x\in \chi }|\frac{N(x,\mathbf{x})}{n}-p(x)|(-\log p(x))\\ \le & \sum _{x\in \chi }|\frac{N(x,\mathbf{x})}{n}-p(x)|(-\log p_{min}(x))\\ \le & \delta (-\log p_{min}(x)).\end{array}$$记$\eta =-\delta \log p_{min}(x)$，显然当$\delta \to 0$时$\eta \to 0$. 于是
$$-\eta \le \sum _{x\in \chi }(\frac{N(x,\mathbf{x})}{n}-p(x))(-\log p(x))\le \eta$$因此
$$\begin{gathered} -n(H(X)+\eta )\le \log p(\mathbf{x})\le -n(H(X)-\eta ) \\ {2}^{-n(H(X)+\eta )}\le p(\mathbf{x})\le 2^{-n(H(X)-\eta )} \end{gathered}$$

(2)的证明同弱AEP的(2)一样要用到弱大数定律。考虑随机变量$B(x)$满足$p(B(x)=1)=p(x)$和$p(B(x)\ne 1)=1-p(x)$。显然他的期望为$E(B(x))=p(x)$。考虑$n$个独立同分布的随机变量$B_1(x),B_2(x),\cdots ,B_n(x)$，他们均满足$B(x)$的概率函数。利用弱大数定理，当$n\to \infty$时
$$p(|\frac{{\sum }_{i=1}^n{B}_i(x)}{n}-p(x)|\le ϵ)>1-ϵ$$反之，
$$p(|\frac{{\sum }_{i=1}^n{B}_i(x)}{n}-p(x)|>ϵ)<ϵ.$$因为$ϵ$是任意小的整数，所以我们也可以令$ϵ=\frac{\delta }{|\chi |}$,有
$$\begin{gathered} p(|\frac{{\sum }_{i=1}^n{B}_i(x)}{n}-p(x)|>\frac{\delta }{|\chi |})<\frac{\delta }{|\chi |} \\ p(|\frac{N(x,\mathbf{x})}{n}-p(x)|>\frac{\delta }{|\chi |})<\frac{\delta }{|\chi |}.\text{\hspace{1em}(1)} \end{gathered}$$考虑强典型集定义
$$\begin{array}{rl}& p(X\in T_{[X]\delta }^n)\\ =& p(\sum _{x\in \chi }|\frac{N(x,\mathbf{x})}{n}-p(x)|\le \delta )\\ =& 1-p(\sum _{x\in \chi }|\frac{N(x,\mathbf{x})}{n}-p(x)|>\delta )\\ \ge & 1-p(|\frac{N(x,\mathbf{x})}{n}-p(x)|>\frac{\delta }{|\chi |}),\text{反证}\\ \ge & 1-\frac{\delta }{|\chi |},\text{利用(1)}\\ \ge & 1-\delta \end{array}$$

$■$

6. 强典型集vs弱典型集

6.1
给定一个序列，如果他属于强典型集$T_{[X]\delta }^n$，那么必然存在一个$\eta$，满足当$\delta \to 0$时$\eta \to 0$。我们根据这个$\eta$可以找到一个弱典型集$W_{[X]\eta }^n$使得给定的序列在这个弱典型集中。
证明：
根据强AEP中的(1)有
$$2^{-n(H(X)+\eta )}\le p(\mathbf{x})\le 2^{-n(H(X)-\eta )}$$显然有
$$|-\frac{\log p(\mathbf{x})}{n}-H(X)|\le \eta$$满足弱典型集的定义。
$■$

6.1告诉我们，针对一个给定的序列，如果他存在某个强典型集中，也一定存在某个弱典型集中。但是，这并不代表一个弱典型集一定被某个强典型集包含。

6.2 强典型集序列的选取，是尽量使序列的$\frac{N(x,\mathbf{x})}{n}$尽量接近$p(x)$，即某个$x$的频率接近概率。而弱典型集序列的选取，是尽量使$-\log p(\mathbf{x})$接近$H(X)$。参考参考文献的122页。

参考文献

[1] Raymond W. Yeung，Information Theory and Network Coding，2008。