信息论知识点重点整理

信息论知识点重点整理

第二章 熵、相对熵和互信息

• 链式法则
• 马尔科夫链
• 数据处理不等式
• Fano不等式

第三章 渐进均分性

• 典型集及其相关性质

第四章 随机过程的熵率

• 马尔可夫过程的熵率

第五章 数据压缩

• Kraft不等式
• 最优码、郝夫曼码、香农码、Shannon-Fano-Elias编码

第七章 信道容量

• 信道编码定理（香农第二定理）
• 反馈信道：可以基于更多信息进行编码
• 信源信道分离定理

第八章 微分熵

• 微分熵可以小于零，不代表信息度量的内涵

• 连续随机变量的 AEP

• 多元正态分布的熵，$|K|$ 为协方差矩阵的行列式值

  $ h(φ) = \frac{1}{2} log(2 π e σ^2) $ bits

  $h(X1,X2,\dots ,Xn)=\frac{1}{2}log(2\pi e{)}^n|K|$ bits

• 相对熵和互信息

• 微分熵、相对熵和互信息的性质

  $h(aX)=h(X)+log|a|$ => 连续变量的拉伸会改变熵

  $h(AX)=h(X)+log|detA|$ => A为X的变换矩阵

• [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZiBkFOI-1599893863522)(C:\Users\Lenovo\Desktop\信息论知识点重点整理.assets\image-20200902104731414.png)]

第九章 高斯信道

• 有功率限制的信道容量
• 带宽有限信道
• 并联高斯信道，注水法（Water Filling）
• 反馈对信道容量的影响

第十章 率失真理论

• 信息率失真函数与信道容量的比较
• 高斯信源的率失真函数
• 并联高斯信源的率失真，反注水法
• 香农第三定理，率失真函数的可达性
• 失真典型序列