香农密码理论汇总:熵理论

ref by https://www.wikiwand.com/zh-hans/熵_(信息论)

信息和熵

在信息论中，熵（英语：entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。

采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。

信息实际上就是一组随机变化的值,本质上就是对不确定信息的消除.以及相当重要的一点,信息的可加性.

自信息量

在信息论中，自信息（英语：self-information），由克劳德·夏农提出，是与概率空间中的单一事件或离散随机变量的值相关的资讯量的量度。它用信息的单位表示，例如 bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。自信息的期望值就是信息论中的熵，它反映了随机变量采样时的平均不确定程度。

也就是说自信息量衡量的是信息的不确定度.

定义

单符号离散信源的数学模型用一维概率空间描述:

$$\begin{gathered} 如果信源发出消息为x_i的概率为p(x_i),则该消息的自信息量为 \\ I(x_i)=lo{g}_2\frac{1}{P(x_i)}=-lo{g}_{2}p(x_i) \end{gathered}$$
单位为比特,即$bits$.

含义

1. 信源发出前信宿(接收者对于即将接收的信息的不确定性.
2. 信源发出信息后给予信宿的信息量,也就是说消除不确定性需要的信息量.
   

注意公式中的负号.
如果信宿接收到某信息,则该信息的概率为1.也就是说对于高概率的信息,接收后对于概率的改变较小.所以自信息量较小.

性质:

1. 非负性
2. $p(x_i)=1,I(x_i)=0,即不具备信息量$
3. $p(x_i)=0,I(x_i)=+\infty .$
4. $I(x_i)对于p(x_i)单调递减$

联合信息量

也就是自信息的推广,涉及两个随机事件,概率空间为

$$I(x_i,y_i)=-lo{g}_{2}p(x_i,y_i)$$
实质上就是对于事件$x_i,y_i$的联合发生这一事件的自信息量的考量.当X,Y独立时,
$I(x_i,y_i)=-lo{g}_{2}p(x_i,y_i)=-lo{g}_{2}p(x_i)-lo{g}_{2}p(y_i,)=I(x_i)+I(y_i)$
也就是说当随机变量X,Y相独立时,联合信息量就是两个变量的自信息量的加和.这体现了自信息量的可加性.

条件自信息量

条件信息量衡量的是信道的转移概率,也就是前一符号已知时后一个符号的不确定度.
$$\begin{gathered} I(x_i|y_i)=-lo{g}_{2}p(x_i|y_i)后验概率 \\ I(y_i|x_i)=-lo{g}_{2}p(y_i|x_i)信道转移概率 \end{gathered}$$

互信息量

$$I(x_i;y_i)=I(x_i)-I(x_i|y_i)$$
互信息=先验不确定度(条件$x_{i}d$的信息量)-后验不确定度($x_i$已经确定发生下$y_i$发生的概率).比如:x=下雨,y=有乌云.

互信息量的性质

$$\begin{gathered} I(x_i;y_i)=I(x_i)-I(x_i|y_i) \\ =-lo{g}_{2}p(x_i)+lo{g}_{2}p(x_i|y_i) \\ =lo{g}_2\frac{p(x_i|y_i)}{p(x_i)} \\ =lo{g}_2\frac{\frac{p(x_i{y}_i)}{p(y_i)}\cdot p(y_i)}{p(x_i)p(y_i)} \\ =lo{g}_2\frac{p(x_i{y}_i)}{p(x_i)p(y_i)} \\ =lo{g}_2\frac{p(y_i|x_i)p(x_i)}{p(x_i)p(y_i)} \\ =lo{g}_2\frac{p(y_i|x_i)}{p(y_i)} \\ =I(y_i;x_i) \end{gathered}$$

1. 可交换,如上面,$I(x;y)=I(y;x)$
2. 可为正也可为负
3. 独立变量之间的互信息量为0.也即$P(x)=P(x|y)$,也就是事件y发生这一条件对事件x的概率无影响.
4. 互信息不大于任何一个的自信息.

Example

$p(x)=0.125,p(x|y)=0.9$

---

$$\begin{gathered} I(x)=-lo{g}_2(0.125)=3bits \\ I(x|y)=-log0.9\approx 0.152bits \\ I(x;y)=I(y;x)=I(x)-I(x|y)\approx 2.848bits. \end{gathered}$$
注意,互信息量可以为负,也就是两个信息负相关.

---

熵

对于整个随机变量X,其信息熵定义为x对应其信息量的数学期望,即
$$H(X)=E[I(x)]=\sum _{All}p(x)\times -(lo{g}_{2}p(x)$$

1. 熵是非负的.
2. 信源发出前表示信源的平均不确定度.
3. 发出后,表示信源提供信息量的期望.
4. 反映了X的随机性,即其平均携带信息量的多少.

Example

该密码体制可认为如下表:

	a	b
k1	1	2
k2	2	3
k3	3	4

根据定义,则有
$$\begin{gathered} H(P)=P(a)\cdot (-lo{g}_{2}P(a))+P(b)\cdot 9-lo{g}_{2}P(b))\approx 0.83 \\ H(K)=\sum _{1,2,3}P(K_i)\cdot (-lo{g}_{2}P(k_i)) \\ H(c)=\sum _{1,2,3,4}P(i)\cdot (-lo{g}_{2}P(i)) \\ P(1)=P(a)\times P(k_1),... \end{gathered}$$

性质

1. $H(X)\le lo{g}_{2}n,当且仅当p_i=\frac{1}{n}等式成立$
2. $H(X,Y)\le H(X)+H(Y),当且仅当X,Y独立时等式成立.$
3. $H(X,Y)=H(Y)+H(X|Y)(同信息量的公式)$
4. $H(X|Y)\le H(X),当且仅当X,Y独立等式成立.$

Jensen不等式

假设F是区间上严格凸函数,那么
$$\begin{gathered} \sum _{i=1}^n{a}_{i}f(x_i)\le f(\sum _{i=1}^n{a}_i{x}_i) \\ 其中\sum _{All}{a}_i=1 \\ 当且仅当x_i相等时等号成立 \end{gathered}$$

二进制下的熵

联合熵

$$H(XY)-\sum \sum p(xy)lo{g}_{2}p(xy)$$
可以推广到多个变量.
性质:
$$max[H(X_i)]\le H(X_1,...X_n)\le \sum _{All}H(X_i)$$
也可退化到两个随机变量的情况.

条件熵

$$H(X|Y)=-\sum \sum p(xy)lo{g}_{2}p(x|y)$$
对于Y的固定值Y=y,得到X上条件概率,记作X|y,则
$$H(X|y)=-\sum _{All}p(x|y)lo{g}_{2}p(x|y)$$
然后对y加权平均得到结果.

平均互信息量

就是互信息量I(x;y)在联合概率空间上的期望.
$$\begin{gathered} I(X;Y)=E[I(x;y)]=\sum \sum p(xy)I(x;y) \\ =H(X)+H(Y)-H(XY) \end{gathered}$$

• 非负性
• 对称性
• 极值:$I(X;Y)=I(Y;X)\le minH(X),H(Y)$
• 独立时,I(X;Y)=0
• XY一一对应时:$I(X;Y)=H(X)=H(Y)$

Conclusion