【信息论】信息论基础知识

以下是我期末考试前整理的一些信息论基本知识，免费分享给大家

信息论研究的目的：有效性、可靠性、保密性

一、度量信息的几个量

1. 某个符号出现的概率：$p_i$
2. 自信息量：$-{\log }_{2}p$
3. 平均自信息量（熵）：${\sum }_{i=1}^N-p_i{\log }_2{p}_i$
4. 联合自信息量：$-{\log }_{2}p(i,j)$
5. 平均联合自信息量：${\sum }_{i=1}^N{\sum }_{j=1}^M-p(i,j){\log }_{2}p(i,j)$
6. 条件自信息量：$-{\log }_{2}p(i|j)$
7. 平均条件自信息量：$-{\sum }_{i=1}^N{\sum }_{j=1}^{M}p(i,j){\log }_{2}p(i|j)$
8. 互信息量：${\log }_2(\frac{p(i,j)}{p(i)p(j)})$
9. 平均互信息量：${\sum }_{i=1}^N{\sum }_{j=1}^{M}p(i,j){\log }_2(\frac{p(i,j)}{p(i)p(j)})$
10. 互信息量对称性：$I(x_i;y_j)=I(y_j;x_i)$
11. 条件互信息量：$I(x_i;y_j|z_k)={\log }_2(\frac{p(x_i|y_j{z}_k)}{p(x_i|z_k)})$
12. 二对一的互信息量：$I(x_i;y_j{z}_k)=I(x_i;z_k)+I(x_i;y_j|z_k)$

注意⚠️：

• 随机事件的不确定度在数量上等于它的自信息量
• 互信息量可正、可负、可为零
• 互信息量：$I(x_i;y_j)=I(x_i)-I(x_i|y_j)=I(x_i)+I(y_j)-I(x_i,y_j)$
• 信源熵的性质（1）：非负性、极值性、对称性
• 信源熵的性质（2）：条件熵不大于信源熵、条件越多熵越小、联合熵小于熵之和
• 信息熵的性质（3）：拓展性、确定性、可加性、上凸性

二、证明常用到的几个公式

1. $H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

2. $H(X|Y)\le H(X);H(X|YZ)\le H(X|Y);H(XY)\le H(X)+H(Y)$

3. $I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)$

4. $I(X;Y,Z)=H(X)-H(X|Y,Z)=H(Y,Z)-H(Y,Z|X)$

5. $I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=H(Y|Z)-H(Y|X,Z)$

6. 数据处理定理：$I(X;Y)\ge I(X;Z);I(X;Y)\ge I(X;Y|Z)$

7. N次拓展（无记忆信源）：$H(X^N)=NH(X)$

8. 有记忆信源：$H(X_2|X_1)\le \frac{1}{2}H(X_2{X}_1)\le H(X);\frac{1}{N}H(X^N)\le \frac{1}{N-1}H(X^{N-1})$

注意⚠️：

• H(X|Y)：疑义度(已知Y了，但还有不知道X的部分)。即因信道有扰，X丢失的平均信息量，又叫损失熵
• H(Y|X)：散步度/扩散度，信道产生的假平均信息。又叫噪声熵
• 互信息的性质（1）：非负性、极值性、对称性
• 互信息的性质（2）：上凸性（给定信道转移条件，有最大值）、下凸性（给定信源概率分布，有最小值）
• 互信息的性质（3）：可加性（互信息可分步获得）

三、连续熵

1. 均匀分布连续熵：${\log }_2(b-a)$
2. 高斯信源连续熵：${\log }_2(\sqrt{2\pi e{\sigma }^2})$
3. 指数分布连续熵：${\log }_2(me)$
4. 拉普拉斯分布连续熵：${\log }_2(\frac{2e}{\lambda })$

注意⚠️：

• 连续熵可为负值
• 连续信源最大熵由条件而定；离散信源最大熵出现于等概分布
• 最大熵定理：
  1. 限峰值功率的最大熵定理——均匀分布
  2. 限平均功率的最大熵定理——高斯分布
  3. 限均值的最大熵定理——指数分布

四、马尔可夫过程/链

1. 转移矩阵：由$p(j|i)$组成，表示从i状态转移到j状态的条件概率
2. 状态平衡方程：$EP = E,\quad E={P(E_i)} $，转移发生一段时间之后，各个状态出现的概率为$P(E_i)$
3. 马尔可夫信源熵：$H_{\infty}(X) = H_{m+1}(X)=\sum_{i=1}^{qm}P(E_i) \sum_{j=1}^{q}p(a_j|E_i)\log(\frac{1}{p(a_j|E_i)}) $
4. 对🐟一般有记忆信源的每个符号的平均信息量：$H_m(X)=\frac{1}{m}H(X_1{X}_2\cdots X_m)$
5. 马尔可夫信源的性质：完备性、互斥性

五、信源编码

1. 唯一可以码存在的充要条件$Kraft$不等式：$\sum_{i=1}^n r^{-K_i} \le 1 $
2. 定长非奇异码一定是即时码
3. 即时码树图构造法：码符号集的各个码字不出现其他码字的根上，即每个码字都应该是叶节点
4. 唯一可译码的判断方法：Sardinas-Patterson判断法（一层一层分出尾随后缀）
5. 最优码：$H(X)=H_r(X)lo{g}_{2}r;L_{opt}=ceil(H_r(X))$
6. 相对熵：$\eta =\frac{H_{\infty }(X)}{H_0(X)}$
7. 冗余度：$E=1-\eta$
8. 内熵（信息变差）：$H_{\infty }(X)-H_0(X)$
9. 编码效率：${\eta }_c=\frac{H(U)}{\overline{K}{\log }_{2}r}$
10. 最佳定长编码效率：${\eta }_c=\frac{H(U)}{H(U)+\epsilon }$
11. 差错率：$P(e)\le \frac{{\sigma }^2}{L{\epsilon }^2}$
12. 哈夫曼编码：概率表降序排列、递归：大为1小为0生成哈夫曼树、逆向行程得到哈夫曼编码
13. 香农编码
14. 费诺编码：根据降序概率表二分得到码表
15. 卷积码：一种非分组码
16. 卷积码译码：最大似然译码（维特比译码）

注意⚠️：

• 满足$Kraft$不等式的编码方案不一定是唯一可译码，但不满足的一定不是唯一可译码
• 香农编码考试不作要求
• 卷积码、汉明码更详细的介绍可以参考我的其他博客

六、信道

1. 信息传输速率：$R=nL\ast lo{g}_{2}r$
2. 香农公式：$C_t=\frac{C}{T}=\frac{1/2log(1+SNR)}{1/fs}=Blog(1+SNR)$
3. 对称信道：行列元素相同
   • 信源等概分布的时候达到信道容量
4. 准对称性信道：行元素相同
   • 信源等概分布的时候达到信道容量
5. 二元删除信道：一种准对称信道
   • 信源等概分布的时候达到信道容量
6. 无损无噪信道：输入输出一一对应
   • $C=H(X)$
7. 无损有噪信道：每个输出有唯一输入与之对应（少入多出）
   • $C=H(X)$
8. 有损无噪信道：每个输入有唯一输出与之对应（多入少出）
   • $C=H(Y)$
9. 香农极限：${\lim }_{W\to \infty }{C}_t\approx 1.443\frac{P}{N_0}$

七、信息率失真函数

1. 失真度：d

2. 失真度函数：$d(a_i,a_j)$

3. 平均失真度：$\overline{d}=E(d)={\sum }_{i,j}p(x_i)p(y_j|x_i)d(a_i,b_j)$

4. 保真度准则：$\overline{d}<D$

5. 信息率失真函数： R ( D ) = min ⁡ { p ( j ∣ i ) } ∈ P ( D ) I ( X ; Y ) R(D) = \min_{\{p(j|i)\} \in P(D)} I(X;Y) R(D)=min{p(j∣i)}∈P(D)​I(X;Y)

6. 满足保准度准则的所有试验信道：$P(D)$

7. 汉明失真：$d(a_i,a_j)=\{\begin{array}{l}0,a_i=a_j\\ 1,a_i\ne a_j\end{array}$

注意⚠️：

• 信息率失真函数的物理意义：给定信源和失真度，找到一种信息量容许压缩的最小值
• 香农第一定理：无失真信源编码R>H(X)
• 香农第二定理：信道编码R<C
• 香农第三定理：限失真信源编码R<R(D)

八、加密技术

1. 仿射密码：加性密码+乘性密码，一种单表密码
2. 线性反馈移位加密：m序列，伪随机码