学习笔记 | 信息论（傅祖芸第5版）

信息论

Chap1.绪论

1、通信过程是一种消除不确定性的过程。

2、香农对信息的定义：信息是事物运动状态或存在方式的不确定性的描述。

3、在通信系统中，形式上传输的是消息，但实质上传输的是信息。

4、通信的结果是消除或部分消除不确定性从而获得信息。

5、信号是消息的运载工具。

6、香农信息定义的特点

​ 优点：是一个科学的定义，有明确的数学模型和定量计算；与日常用语中信息的含义一致；

​ 缺点：假定事物状态可以用一个以经典集合论为基础的概率模型来描述，然而对实际事物运动状态或存在方式寻找一个合适的概率模型是困难的；只考虑概率引发的不确定性，不考虑模糊性等造成的不确定性；没有考虑收信者的主观特性，也撇开了信息的具体含义、用途、重要程度和引起的后果等因素。

Chap2.随机信号分析

​ 略

Chap3.离散信源及其信息测度

1、无记忆信源：输出符号彼此独立且等概。

2、有记忆信源：信源在不同时刻发出的符号之间是相互依赖的。

3、限时、限频随机过程可用$2FT$维随机向量表示 。

4、自信息量的物理含义：

​ i）当事件$a_i$发生以前，表示事件$a_i$发生的不确定性；

​ ii）当事件$a_i$发生以后，表示事件$a_i$所含有（或提供）的信息量。

5、信息熵：自信息的期望（平均自信息量）

6、信息熵$H(X)$的物理含义：

​ i）信息熵$H(X)$是表示信源输出后，每个消息（或符号）所提供的平均信息量。

​ ii）信息熵$H(X)$是表示信源输出前，信源的平均不确定性。

​ iii）用信息熵$H(X)$来表征变量$X$的随机性。

7、信息熵的性质：

​ 1）对称性：信息熵括号里符号的顺序不影响信息熵的值；

​ 2）确定性：确知信源的熵等于0；

​ 3）非负性：离散信源的熵不为负；

​ 4）扩展性：信源中增加一条概率很小的消息，熵不变（由于概率很小）；

​ 5）可加性：对数的性质；

​ 6）强可加性：联合熵等于条件熵加非条件熵；

​ 证明：
$$\begin{array}{rl}{H}_{nm}& =-\sum _i\sum _{j}p(x_i{y}_j)\log p(x_i{y}_j)\\ & =-\sum _i\sum _j{p}_i{p}_{ji}\log p_i{p}_{ji}\\ & =-\sum _i\sum _j{p}_i{p}_{ji}\log p_i-\sum _i\sum _j{p}_i{p}_{ji}\log p_{ji}\\ & =-\sum _i(\sum _j{p}_{ji})p_i\log p_i-\sum _i{p}_i\sum _j{p}_{ji}\log p_{ji}\\ & =-\sum _i{p}_i\log p_i+\sum _i{p}_i(-\sum _j{p}_{ji}\log p_{ji})\\ & =H(X)+H(Y|X)\end{array}$$

​ 7）递增性：划分的不确定性引起熵增；

​ 8）极值性：等概分布熵最大；

​ 9）上凸性：熵是概率向量的严格$\cap$型凸函数。

8、条件熵$H(Y|X)$是$x_i$取不同值时的熵的期望。

9、$N$次扩展信源的熵是原信源熵的$N$倍。

​ 对于离散平稳信源$X$，当$H_1(X)<\infty$时，有如下几点性质：

​ （1）条件熵$H(X_N|X_1{X}_2...X_{N-1})$是$N$的单调非增函数；即：序列越长，不确定度越小；

​ （2）当$N$给定时，平均符号熵$\ge$条件熵，即$H_N(\mathbf{X})\ge H(X_N|X_1{X}_2...X_{N-1})$；即：条件多的熵小于等于条件少的熵；

​ （3）平均符号熵$H_N(\mathbf{X})$随$N$的增加非递增；

​ （4）$H_{\infty }={\lim }_{N\to \infty }{H}_N(\mathbf{X})={\lim }_{N\to \infty }H(X_N|X_1{X}_2...X_{N-1})$，其中$H_{\infty }$为离散平稳信源的极限熵或极限信息量，也称为离散平稳信源的熵率。当离散平稳信源的记忆长度有限（记为$m$），其极限熵为$H_{\infty }={\lim }_{N\to \infty }H(X_N|X_1{X}_2...X_{N-1})=H(X_{m+1}|X_1{X}_2...X_m)$。

​ 对于离散平稳信源，当考虑依赖关系为无限长时，平均符号熵和条件熵都非递增地一致趋于极限熵。

​ 符号的极限概率为

$$\begin{gathered} P(a_k)=\sum _{i}Q(s_i)P(a_k|s_i) \\ H(X|s_j)=-\sum _{i}P(a_i|s_j)\log (P(a_i|s_j)) \\ {H}_{\infty }=\sum _{j}Q(s_j)H(X|s_j) \end{gathered}$$

​ 解题通话：此状态马尔可夫链是时齐的，状态数有限的和是不可约闭集，所以其具有各态历经性，平稳后状态的极限概率分布存在。（时齐、遍历的$m$阶马尔可夫信源并非是记忆长度为$m$的离散平稳信源，只有当N足够长，信源状态稳定，由$m$个符号组成的状态稳定分布，才可看作记忆长度为$m$的离散平稳信源）

10、熵的相对率和信源剩余度
$$\begin{gathered} \eta =\frac{H_{\infty }}{H_0}=\frac{H_{\infty }}{\log r} \\ \gamma =1-\eta =R_s \end{gathered}$$

Chap4.离散信道及其信道容量

1、互信息：$I(x;y)=\log \frac{P(x|y)}{P(x)}$

​ $I(X,Y)=H(X)-H(X|Y)$，即接收前的不确定度减去接收后的不确定度，定义为获得的信息量。
$$\begin{array}{rl}I(X;Y)& =\sum _{X}P(x)\log \frac{1}{P(x)}-\sum _{X,Y}P(xy)\log \frac{1}{P(x|y)}\\ & =\sum _{X,Y}P(xy)\log \frac{1}{P(x)}-\sum _{X,Y}P(xy)\log \frac{1}{P(x|y)}\\ & =\sum _{X,Y}P(xy)\log \frac{P(x|y)}{P(x)}\end{array}$$

3、平均互信息的特性

​ i）非负性：只有$X$、$Y$统计独立互信息才会为0，完全收不到关于$X$的信息，且不会损失知道的信息。

​ ii）极值性：获得的信息不会比$X$本来的知识还要多。

​ iii）对称性：由于是一一对应的，变量顺序可以互换。

​ iv）凸状性：固定信道，一定存在一个信源能达到信道容量；固定信源，一定存在一个信道使信息传输率（平均互信息）最小（$R(D)$的概念）。

​ *信息传输速率$R_t=\frac{1}{t}I(X;Y)=R_{B}C$，单位为bps/symbol，其中$R_B$为符号速率。

4、二元对称信道（BSC）的信道容量$C=1-H(p,1-p)$。

5、无噪无损信道矩阵是单位阵，信道容量$C=\log (r)$（输入等概分布）。

6、

​ 有噪无损信道中，$H(X|Y)=0$，即得知$Y$的信息后，总能知道它是哪个$X$发来的。有噪无损信道的信道容量$C=\log (r)$（输入符号等概分布）。

7、

​ 无噪有损信道中，$H(Y|X)=0$，即得知$X$的信息后，总能知道它发给了哪个$Y$。无噪有损信道的信道容量$C=\log (s)$（输出符号等概分布）。

8、信道矩阵$P$中的每一行都是由同一 { p 1 , p 2 , . . . , p s } \{p_1,p_2,...,p_s\} {p1​,p2​,...,ps​}集中的诸元素不同排列而成，并且每一列也都是由同一 { q 1 , q 2 , . . . , q r } \{q_1,q_2,...,q_r\} {q1​,q2​,...,qr​}集中的诸元素不同排列而成，则称信道矩阵$P$的信道为对称离散信道。

9、强对称信道需要满足的三个条件：1）对称离散信道；2）$r=s$；3）错误分布均匀；

$$C=\log s-H(p_1,p_2,...,p_s)(bit/符号)$$
​ 达成最大值的条件：输入（出）符号等概分布，$(p_1,p_2,...,p_s)$是各行元素。

10、准对称信道
$$C=\log r-H(p_1,p_2,...,p_s)-\sum _k{N}_k\log M_k$$
​ 其中，$r$是输入符号集的个数，$N_k$是第$k$个子矩阵$Q_k$中行元素之和，$M_k$是第$k$个子矩阵$Q_k$中列元素之和。达成最大值的条件：输入符号等概分布。

11、N次扩展信道的信道容量$C^N=NC$。

12、独立并联信道的信道容量不大于各个信道的信道容量之和。只有当输入符号$X_i$相互独立， 且输入符号$X_i$的概率分布达到各信道容量的最佳输入分布时， 独立并联信道的信道容量才等于各个信道的信道容量之和。

13、信息不增性原理：最后获得的信息最多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不涉及到丢失信息过程的输入端，就不能再恢复已丢失的信息。

14、数据处理定理：通过数据处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息还多。

15、信道相对剩余度$R_c=1-\frac{I(X;Y)}{C}=1-\frac{H(X)}{\log r}$（无损信道中$I(X;Y)=H(X)$）；信源与信道匹配的含义：将信源输出的信息进行无失真编码后，使新信源的输出符号接近等概率分布，新信源的熵接近最大熵，这样信道传输的信息量达到最大，信道剩余度接近于零，信源和信道达到了匹配。

Chap5.连续信源及信道容量

1、连续信源相对熵（差熵）的性质

​ i）可加性：$h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)$。

​ ii）凸状性和极值性：差熵具有极大值。

​ iii）可为负性：由于差熵的定义中去掉了一项无限大的常数项， 所以差熵可取负值， 由此性质也可以看出， 差熵不能表达连续事物所含有的信息量。

2、均匀分布连续信源的差熵：$h(X)=\log (b-a)$。

​ 限频限时随机过程的差熵：$h(X)=2FT\log (b-a)$；熵率$h_t(X)=2F\log (b-a)$（单位时间内输出的最大信息量）。

3、高斯分布连续信源：$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp [-\frac{(x-m{)}^2}{2{\sigma }^2}]$。

​ 其差熵为$h(X)=\frac{1}{2}\log 2\pi e{\sigma }^2=\frac{1}{2}\log 2\pi eP$。（第二个等号成立的前提是均值为0）

4、连续信源的最大熵定理：在离散信源中， 当信源符号等概率分布时， 信源的熵取得最大值。

5、限峰值功率最大熵定理：若某信源输出的连续随机变量$X$的幅度被限定在$[a,b]$区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵，其值等于$\log (b-a)$。若当$N$维随机向量取值受限时，也只有各随机分量统计独立并均匀分布时具有最大熵。

6、限平均功率最大熵定理：若一个连续信源输出信号的平均功率被限定为$P$，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的，其值为$\frac{1}{2}\log 2\pi eP$。
对于$N$维连续平稳信源来说，若其输出的$N$维随机序列的协方差矩阵$\mathbf{C}$被限定，则$N$维随机矢量为高斯分布时信源的最大，也就是$N$维高斯信源的熵最大，其值为$\frac{1}{2}\log |\det \mathbf{C}|+\frac{N}{2}\log 2\pi e$。

7、熵功率：当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为$P$，则其熵：
$$h(X)=\log \sqrt{2\pi eP}$$
​ 若平均功率为$P$的非高斯分布的信源具有熵为$h$，称也为$h$的高斯信源的平均功率为熵功率$\bar{P}$，即熵功率：
$$\bar{P}=\frac{1}{2\pi e}{e}^{2h}$$

​ 且有$\bar{P}\le P$，其中$h$是每个自由度的熵。

​ 熵功率是衡量一个信源的熵与同样平均功率限制下的高斯信源熵的不一致程度。熵功率的大小可以表示连续信源剩余度的大小，因此，信号平均功率和熵功率之差$(P-\bar{P})$被称为连续信源的剩余度。只有高斯分布的信源其熵功率等于实际平均功率，其剩余度为零。这种信源就是高斯噪声信源。

8、一般多维加性连续信道的信道容量：
$$\begin{gathered} C=\underset{p(\mathbf{x})}{\max }I(\mathbf{X};\mathbf{Y})=\underset{p(\mathbf{x})}{\max }[h(\mathbf{Y})-h(\mathbf{n})] \\ h(\mathbf{n})=\log \sqrt{2\pi e{\sigma }^2}=h(Y|X) \end{gathered}$$
9、高斯加性连续信道的信道容量：
$$\begin{array}{rl}C& =\underset{p(\mathbf{x})}{\max }I(\mathbf{X};\mathbf{Y})=\frac{1}{2}\log 2\pi e{P}_o-\frac{1}{2}\log 2\pi e{\sigma }^2\\ & =\frac{1}{2}\log (\frac{P_o}{{\sigma }^2})=\frac{1}{2}\log (1+\frac{P_i}{{\sigma }^2})\end{array}$$
​ 注水法：见课本P147。

10、限频、限功率高斯信道容量

​ 由香农信道容量公式可知，高斯加性信道的信道容量是非高斯加性信道的信道容量的下限值，所以高斯加性信道是平均功率受限条件下的最差信道。

​ 证明：由熵功率不等式
$$\begin{gathered} {\bar{\sigma }}_X^2+{\bar{\sigma }}_n^2\le {\bar{\sigma }}_Y^2\le {\sigma }_X^2+{\sigma }_n^2 \\ h(Y)=1/2\log 2\pi e{P}_Y\ge 1/2\log 2\pi e(P_s+{\bar{\sigma }}_n^2) \\ C\ge I(X;Y)\ge \frac{1}{2}\log 2\pi e(P_s+{\bar{\sigma }}_n^2)-\frac{1}{2}\log 2\pi e{\bar{\sigma }}_n^2=\frac{1}{2}\log (1+\frac{P_s}{{\bar{\sigma }}_n^2})=\frac{1}{2}\log (1+\frac{P_s}{\overline{P_n}})\ge \frac{1}{2}\log (1+\frac{P_s}{P_n}) \end{gathered}$$
​ 香农信道容量公式的意义：
$$\begin{gathered} R_i=W\log (1+\frac{P_{si}}{P_{ni}}) \\ {R}_o=W_s\log (1+\frac{P_{oi}}{P_{ni}}) \\ 令R_i=R_o，有1+\frac{P_{oi}}{P_{ni}}=(1+\frac{P_{si}}{P_{ni}}{)}^{W/W_s} \\ 即可以通过提高W来减小信噪比\frac{P_{si}}{P_{ni}} \\ 但存在一个极限，即 \\ \begin{array}{r}\underset{W\to \infty }{\lim }{C}_t=\frac{P_s}{N_0\ln 2}=1.4427\frac{P_s}{N_0}\end{array} \end{gathered}$$
11、连续信道编码定理也称为香农有噪信道编码定理：对于限带高斯白噪声加性信道，噪声功率为$P_n$，带宽为$W$，信号平均功率受限为$P_s$，则
（1）当$R\le C=W\log (1+\frac{P_s}{P_n})$时，总可以找到一种信道编码在信道中以信息传输率$R$传输信息，而使错误概率任意小；
（2）当$R>C=W\log (1+\frac{P_s}{P_n})$时，找不到一种信道编码在信道中以信息传输率$R$传输信息，而使错误概率任意小。

12、若$y=f(x)$，$h(y)=h(x)-\log (\frac{dx}{dy})$。

Chap6.无失真信源编码

1、信源编码是在提高有效性的角度，提高信息传输率；

​ 信道编码是在提高可靠性的角度，提高抗干扰能力。

2、非奇异码：一组码中的所有码字都不相同；

3、若码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，则此码称为唯一可译码（可分离码）。否则，称为非唯一可译码。

​ 判断可分离码的原则

​ i）任何短码不能是长码的前缀（等长码没有相同的码字，变长码的尾随后缀都不是码字）；

​ ii）如果某一码枝被选作编码字后，其后一个节点以后的所有码枝就不能再作为其它的可用码字；

​ iii）满足Kraft不等式（$\sum 符号元{数}^{-码长}\le 1$，唯一可译码存在的充要条件为码长组合满足Kraft不等式）。

​ 若码符号集中每个码符号所占的传输时间都相同，则所得的码$c$为同价码。

4、即时码
（1）若在码$c$中，没有任何完整的码字是其它码字的前缀，则称为即时码，也称为非延长码；
（2）即时码是惟一可译码的一类子码，所以即时码一定是唯一可译码，反之惟可译码不一定都是即时码。

5、等长信源编码定理：若编的等长码是唯一可译码，则必须满足$m^N\ge n^L$，即转换后的码字要比转换前多
$$\frac{N}{L}\ge \frac{\log n}{\log m}$$
​ 对于等长唯一可译码，每个信源符号至少需要用$\log n/\log m$个码符号来变换。

6、无失真等长信源编码定理：对于$\forall \epsilon >0$，只要满足$\frac{N}{L}\ge \frac{H(X)+\epsilon }{\log m}$则解码时为无失真，若不满足上式时，则解码时将有无穷大的失真。在实际情况下，要实现几乎无失真的等长编码， $L$需要大到难以实现的程度。

​ 如果编码结果所具有的熵比输入符号的熵大一点，就能实现无失真编码。即： 只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真编码。

​ 离散无记忆信源无失真压缩的极限值（无论等长码还是变长码），也就是无失真信源编码定理，香农第一定理：
$$\underset{n\to \infty }{\lim }\frac{N}{L}=\frac{H(X)}{\log m}$$
7、编码后信源的实际传输率$R^{\prime }$：编码后平均每个信源符号能载荷的最大信息量，即总信息量（$m$元的码须有$\log m$比特的信息表示）/信源长度。
$$R^{\prime }=\frac{N}{L}\log m\ge H(X)+\epsilon$$
​ 编码效率$\eta$：衡量各种实际等长编码方法的编码效果。
$$\eta =\frac{H(X)}{R^{\prime }}=\frac{H(X)}{N/L\times logm}$$
​ 最佳等长编码的效率：$\eta =\frac{H(X)}{H(X)+\epsilon }$
​ 移项，可得：$\epsilon =\frac{1-\eta }{\eta }\times H(X)$

8、变长码往往在$N$不很大时就可编出效率很高而且无失真的码，前提是可分离码。

9、信源编码的平均码长：$\bar{N}={\sum }_{i}P(x_i)N_i$(码符号/信源符号)
编码后信道的信息传输效率（码率）：每个码元所携带的平均信息量。
$$R=\frac{H(X)}{\bar{N}}(\frac{比特/信源符号}{码符号/信源符号})$$
​ 编码后信道的每秒钟传输的信息量：$R_t=\frac{H(X)}{t\times \bar{N}}$(bit/秒)
$$\eta =\frac{R}{C}=\frac{H(X)}{\bar{N}\times \log m}$$
10、按符号变长编码定理：若一个离散无记忆信源$X=(X_1,X_2,...,X_L)$，其熵为$H(X)$，用$m$种码元对各个符号进行变长可分离编码，则一定能找到一种无失真的编码方法，构成唯一可译码，使其平均码长满足
$$\frac{H(X)}{\log m}\le \bar{N}\le \frac{H(X)}{\log m}+1$$

​ 若此条件不满足，则编码为不可分离的。

​ 不失一般性，对于一个长为$L$的序列有：$\frac{H(X)}{\log m}\le \bar{N}\le \frac{H(X)}{\log m}+\frac{1}{L}$

11、Shannon编码：由于信源消息状态概率分布的不均匀，使编码效率下降。因此，可以将概率大的编成短码，概率小的编成长码。

12、Huffman编码

13、Fano编码

Chap7. 信息率失真函数R(D)

1、信宿不能分辨或对通信质量影响不大的失真，是允许范围内的失真。

​ 对于限失真信源，应该传送的最小信息率是$R(D)$，而不是无失真情况下的信源熵$H(U)$，则$H(U)\ge R(D)$。当且仅当$D=0$时，$H(U)=R(D)$。

2、失真矩阵

3、符号序列的失真函数是单符号失真函数的均值，共有$n^N\times m^N$个元素。

4、平均失真度$\bar{D}=Ed(x_i,y_j)={\sum }_{i,j}{p}_i\times p_{ji}\times d_{ij}$。

5、保真度准则：平均失真度$\bar{D}$不大于所允许的失真度$D$，即$\bar{D}\le D$，相当于对$p_{ji}$进行了限制。

6、$R(D)$函数的定义
R ( D ) = min ⁡ P j i ∈ P D { I ( X ; Y ) } P D = { P j i : D ≥ D ˉ = ∑ i ∑ j p i p j i d i j } R(D)=\min_{P_{ji}\in P_D}\{I(X;Y)\}\\ P_D=\{P_{ji}:D\ge \bar D=\sum_i\sum_jp_ip_{ji}d_{ij}\} R(D)=Pji​∈PD​min​{I(X;Y)}PD​={Pji​:D≥Dˉ=i∑​j∑​pi​pji​dij​}
​ $R(D)$是信源传输的最小平均信息量。信源输出的信息传输率可压缩到$R(D)$（$R^{\prime }\to R(D)$）。是在信源和允许失真$D$给定情况下，接收端（用户）以满足失真要求， 而再现消息所必须获得的最少平均信息量。

7、保真度准则下的信源编码定理（也称为香农第三定理）：
设$R(D)$为离散无记忆信源的信息率失真函数，在允许失真度$D$给定的情况下，总是存在一种信源编码方法，使得编码后信源符号的信息传输率$R^{\prime }>R(D)$，而码的平均失真度$\bar{D}\le D$。反之，若$R^{\prime }<R(D)$，则码的平均失真度$\bar{D}>D$。

​ 该编码方法的码字个数$M=2^{N{R}^{\prime }}$，其中$N$是码长。

​ 比较香农第一定理和第三定理可知，当信源给定时，无失真信源压缩（$D=0$）的下限值是信源熵$H(X)$；而有失真信源压缩（允许失真度为$D$）的下限值是信息率失真函数$R(D)$。一般情况下，在给定允许失真度$D$情况下，$R(D)<H(X)$。这说明在允许失真的情况下，信源数据可以进一步压缩。

8、

​ 该函数是单调递减的$\cup$型凸函数。

​ 第二个等号成立，因为此时$X$、$Y$已经统计独立。也可以写作
D m a x = min ⁡ { P ( x ) ⋅ D } D_{max}=\min\{\mathbf P(x)·\mathbf D\} Dmax​=min{P(x)⋅D}
​ 达到

$$D_{min}=\mathbf{P}(x)\cdot \underset{j}{\min }\mathbf{D}$$

​ 在汉明失真信源下，$r$元对称信源的信息率失真函数为
$$R(D)=\log r-D\log (r-1)-H(D,1-D),0\le D\le 1-\frac{1}{r}$$