以下是我期末考试前整理的一些信息论基本知识,免费分享给大家
信息论研究的目的:有效性、可靠性、保密性
一、度量信息的几个量
- 某个符号出现的概率: p i p_i pi
- 自信息量: − log 2 p -\log_2p −log2p
- 平均自信息量(熵): ∑ i = 1 N − p i log 2 p i \sum_{i=1}^{N} -p_i\log_2p_i ∑i=1N−pilog2pi
- 联合自信息量: − log 2 p ( i , j ) -\log_2p(i,j) −log2p(i,j)
- 平均联合自信息量: ∑ i = 1 N ∑ j = 1 M − p ( i , j ) log 2 p ( i , j ) \sum_{i=1}^{N}\sum_{j=1}^{M} -p(i,j)\log_2p(i,j) ∑i=1N∑j=1M−p(i,j)log2p(i,j)
- 条件自信息量: − log 2 p ( i ∣ j ) -\log_2p(i|j) −log2p(i∣j)
- 平均条件自信息量: − ∑ i = 1 N ∑ j = 1 M p ( i , j ) log 2 p ( i ∣ j ) -\sum_{i=1}^{N}\sum_{j=1}^{M} p(i,j)\log_2p(i|j) −∑i=1N∑j=1Mp(i,j)log2p(i∣j)
- 互信息量: log 2 ( p ( i , j ) p ( i ) p ( j ) ) \log_2(\frac{p(i,j)}{p(i)p(j)}) log2(p(i)p(j)p(i,j))
- 平均互信息量: ∑ i = 1 N ∑ j = 1 M p ( i , j ) log 2 ( p ( i , j ) p ( i ) p ( j ) ) \sum_{i=1}^{N}\sum_{j=1}^{M} p(i,j)\log_2(\frac{p(i,j)}{p(i)p(j)}) ∑i=1N∑j=1Mp(i,j)log2(p(i)p(j)p(i,j))
- 互信息量对称性: I ( x i ; y j ) = I ( y j ; x i ) I(x_i;y_j) = I(y_j;x_i) I(xi;yj)=I(yj;xi)
- 条件互信息量: I ( x i ; y j ∣ z k ) = log 2 ( p ( x i ∣ y j z k ) p ( x i ∣ z k ) ) I(x_i;y_j|z_k)=\log_2(\frac{p(x_i|y_jz_k)}{p(x_i|z_k)}) I(xi;yj∣zk)=log2(p(xi∣zk)p(xi∣yjzk))
- 二对一的互信息量: I ( x i ; y j z k ) = I ( x i ; z k ) + I ( x i ; y j ∣ z k ) I(x_i;y_jz_k)= I(x_i;z_k)+I(x_i;y_j|z_k) I(xi;yjzk)=I(xi;zk)+I(xi;yj∣zk)
注意⚠️:
- 随机事件的不确定度在数量上等于它的自信息量
- 互信息量可正、可负、可为零
- 互信息量: I ( x i ; y j ) = I ( x i ) − I ( x i ∣ y j ) = I ( x i ) + I ( y j ) − I ( x i , y j ) I(x_i;y_j) = I(x_i)-I(x_i|y_j) = I(x_i)+I(y_j)-I(x_i,y_j) I(xi;yj)=I(xi)−I(xi∣yj)=I(xi)+I(yj)−I(xi,yj)
- 信源熵的性质(1):非负性、极值性、对称性
- 信源熵的性质(2):条件熵不大于信源熵、条件越多熵越小、联合熵小于熵之和
- 信息熵的性质(3):拓展性、确定性、可加性、上凸性
二、证明常用到的几个公式
-
H ( X Y ) = H ( X ) + H ( Y ∣ X ) = H ( Y ) + H ( X ∣ Y ) \color{fuchsia}{H(XY) = H(X)+H(Y|X)=H(Y)+H(X|Y)} H(XY)=H(X)+H(Y∣X)=H(Y)+H(X∣Y)
-
H ( X ∣ Y ) ≤ H ( X ) ; H ( X ∣ Y Z ) ≤ H ( X ∣ Y ) ; H ( X Y ) ≤ H ( X ) + H ( Y ) H(X|Y)\le H(X);H(X|YZ)\le H(X|Y);H(XY)\le H(X)+H(Y) H(X∣Y)≤H(X);H(X∣YZ)≤H(X∣Y);H(XY)≤H(X)+H(Y)
-
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) = H ( X ) + H ( Y ) − H ( X Y ) I(X;Y) = H(X)-H(X|Y) = H(Y)-H(Y|X) = H(X)+H(Y)-H(XY) I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X)+H(Y)−H(XY)
-
I ( X ; Y , Z ) = H ( X ) − H ( X ∣ Y , Z ) = H ( Y , Z ) − H ( Y , Z ∣ X ) I(X;Y,Z) = H(X)-H(X|Y,Z) = H(Y,Z)-H(Y,Z|X) I(X;Y,Z)=H(X)−H(X∣Y,Z)=H(Y,Z)−H(Y,Z∣X)
-
I ( X ; Y ∣ Z ) = H ( X ∣ Z ) − H ( X ∣ Y , Z ) = H ( Y ∣ Z ) − H ( Y ∣ X , Z ) I(X;Y|Z) = H(X|Z)-H(X|Y,Z) = H(Y|Z)-H(Y|X,Z) I(X;Y∣Z)=H(X∣Z)−H(X∣Y,Z)=H(Y∣Z)−H(Y∣X,Z)
-
数据处理定理: I ( X ; Y ) ≥ I ( X ; Z ) ; I ( X ; Y ) ≥ I ( X ; Y ∣ Z ) I(X;Y) \ge I(X;Z);I(X;Y) \ge I(X;Y|Z) I(X;Y)≥I(X;Z);I(X;Y)≥I(X;Y∣Z)
-
N次拓展(无记忆信源): H ( X N ) = N H ( X ) H(X^N)=NH(X) H(XN)=NH(X)
-
有记忆信源: H ( X 2 ∣ X 1 ) ≤ 1 2 H ( X 2 X 1 ) ≤ H ( X ) ; 1 N H ( X N ) ≤ 1 N − 1 H ( X N − 1 ) \color{fuchsia} H(X_2|X_1) \le \frac{1}{2}H(X_2X_1) \le H(X) ; \frac{1}{N}H(X^N) \le \frac{1}{N-1}H(X^{N-1}) H(X2∣X1)≤21H(X2X1)≤H(X);N1H(XN)≤N−11H(XN−1)
注意⚠️:
- H(X|Y):疑义度(已知Y了,但还有不知道X的部分)。即因信道有扰,X丢失的平均信息量,又叫损失熵
- H(Y|X):散步度/扩散度,信道产生的假平均信息。又叫噪声熵
- 互信息的性质(1):非负性、极值性、对称性
- 互信息的性质(2):上凸性(给定信道转移条件,有最大值)、下凸性(给定信源概率分布,有最小值)
- 互信息的性质(3):可加性(互信息可分步获得)
三、连续熵
- 均匀分布连续熵: log 2 ( b − a ) \log_2(b-a) log2(b−a)
- 高斯信源连续熵: log 2 ( 2 π e σ 2 ) \log_2(\sqrt{2\pi e \sigma^2}) log2(2πeσ2)
- 指数分布连续熵: log 2 ( m e ) \log_2(me) log2(me)
- 拉普拉斯分布连续熵: log 2 ( 2 e λ ) \log_2(\frac{2e}{\lambda}) log2(λ2e)
注意⚠️:
- 连续熵可为负值
- 连续信源最大熵由条件而定;离散信源最大熵出现于等概分布
- 最大熵定理:
- 限峰值功率的最大熵定理——均匀分布
- 限平均功率的最大熵定理——高斯分布
- 限均值的最大熵定理——指数分布
四、马尔可夫过程/链
- 转移矩阵:由 p ( j ∣ i ) p(j|i) p(j∣i)组成,表示从i状态转移到j状态的条件概率
- 状态平衡方程:$EP = E,\quad E={P(E_i)} , 转 移 发 生 一 段 时 间 之 后 , 各 个 状 态 出 现 的 概 率 为 ,转移发生一段时间之后,各个状态出现的概率为 ,转移发生一段时间之后,各个状态出现的概率为P(E_i)$
- 马尔可夫信源熵:$H_{\infty}(X) = H_{m+1}(X)=\sum_{i=1}{qm}P(E_i) \sum_{j=1}^{q}p(a_j|E_i)\log(\frac{1}{p(a_j|E_i)}) $
- 对🐟一般有记忆信源的每个符号的平均信息量: H m ( X ) = 1 m H ( X 1 X 2 ⋯ X m ) H_m(X)=\frac{1}{m}H(X_1X_2 \cdots X_m) Hm(X)=m1H(X1X2⋯Xm)
- 马尔可夫信源的性质:完备性、互斥性
五、信源编码
- 唯一可以码存在的充要条件 K r a f t Kraft Kraft不等式:$\sum_{i=1}^n r^{-K_i} \le 1 $
- 定长非奇异码一定是即时码
- 即时码树图构造法:码符号集的各个码字不出现其他码字的根上,即每个码字都应该是叶节点
- 唯一可译码的判断方法:Sardinas-Patterson判断法(一层一层分出尾随后缀)
- 最优码: H ( X ) = H r ( X ) l o g 2 r ; L o p t = c e i l ( H r ( X ) ) H(X) = H_r(X) log_2r ; \quad L_{opt} = ceil(H_r(X)) H(X)=Hr(X)log2r;Lopt=ceil(Hr(X))
- 相对熵: η = H ∞ ( X ) H 0 ( X ) \eta = \frac{H_\infty(X)}{H_0(X)} η=H0(X)H∞(X)
- 冗余度: E = 1 − η E = 1- \eta E=1−η
- 内熵(信息变差): H ∞ ( X ) − H 0 ( X ) H_\infty(X)-H_0(X) H∞(X)−H0(X)
- 编码效率: η c = H ( U ) K ‾ log 2 r \eta_c = \frac{H(U)}{\overline K \log_2r} ηc=Klog2rH(U)
- 最佳定长编码效率: η c = H ( U ) H ( U ) + ε \eta_c = \frac{H(U)}{H(U)+\varepsilon} ηc=H(U)+εH(U)
- 差错率: P ( e ) ≤ σ 2 L ε 2 P(e) \le \frac{\sigma^2}{L \varepsilon^2} P(e)≤Lε2σ2
- 哈夫曼编码:概率表降序排列、递归:大为1小为0生成哈夫曼树、逆向行程得到哈夫曼编码
- 香农编码
- 费诺编码:根据降序概率表二分得到码表
- 卷积码:一种非分组码
- 卷积码译码:最大似然译码(维特比译码)
注意⚠️:
- 满足 K r a f t Kraft Kraft不等式的编码方案不一定是唯一可译码,但不满足的一定不是唯一可译码
- 香农编码考试不作要求
- 卷积码、汉明码更详细的介绍可以参考我的其他博客
六、信道
- 信息传输速率: R = n L ∗ l o g 2 r R = nL*log_2r R=nL∗log2r
- 香农公式: C t = C T = 1 / 2 l o g ( 1 + S N R ) 1 / f s = B l o g ( 1 + S N R ) C_t = \frac{C}{T} = \frac{1/2log(1+SNR)}{1/fs} = Blog(1+SNR) Ct=TC=1/fs1/2log(1+SNR)=Blog(1+SNR)
- 对称信道:行列元素相同
- 信源等概分布的时候达到信道容量
- 准对称性信道:行元素相同
- 信源等概分布的时候达到信道容量
- 二元删除信道:一种准对称信道
- 信源等概分布的时候达到信道容量
- 无损无噪信道:输入输出一一对应
- C = H ( X ) C = H(X) C=H(X)
- 无损有噪信道:每个输出有唯一输入与之对应(少入多出)
- C = H ( X ) C = H(X) C=H(X)
- 有损无噪信道:每个输入有唯一输出与之对应(多入少出)
- C = H ( Y ) C = H(Y) C=H(Y)
- 香农极限: lim W → ∞ C t ≈ 1.443 P N 0 \lim_{W \to \infty} C_t \approx 1.443 \frac{P}{N_0} limW→∞Ct≈1.443N0P
七、信息率失真函数
-
失真度:d
-
失真度函数: d ( a i , a j ) d(a_i,a_j) d(ai,aj)
-
平均失真度: d ‾ = E ( d ) = ∑ i , j p ( x i ) p ( y j ∣ x i ) d ( a i , b j ) \overline d = E(d) = \sum_{i,j} p(x_i)p(y_j|x_i)d(a_i,b_j) d=E(d)=∑i,jp(xi)p(yj∣xi)d(ai,bj)
-
保真度准则: d ‾ < D \overline d<D d<D
-
信息率失真函数: R ( D ) = min { p ( j ∣ i ) } ∈ P ( D ) I ( X ; Y ) R(D) = \min_{\{p(j|i)\} \in P(D)} I(X;Y) R(D)=min{p(j∣i)}∈P(D)I(X;Y)
-
满足保准度准则的所有试验信道: P ( D ) P(D) P(D)
-
汉明失真: d ( a i , a j ) = { 0 , a i = a j 1 , a i ≠ a j d(a_i,a_j)=\begin{cases}0,a_i=a_j \\ 1, a_i \ne a_j \end{cases} d(ai,aj)={0,ai=aj1,ai=aj
注意⚠️:
- 信息率失真函数的物理意义:给定信源和失真度,找到一种信息量容许压缩的最小值
- 香农第一定理:无失真信源编码R>H(X)
- 香农第二定理:信道编码R<C
- 香农第三定理:限失真信源编码R<R(D)
八、加密技术
- 仿射密码:加性密码+乘性密码,一种单表密码
- 线性反馈移位加密:m序列,伪随机码