信息论基础--信息量与熵

1. 离散集的平均自信息量----熵

1.1 What is “Entropy”

熵是随机变量不确定度的度量

在介绍熵的概念前，我们先引入一些前导概念

1.1.1 自信息和条件自信息

如何理解自信息，我们可以从以下几个角度切入

• 表示事件不确定性的大小
• 表示事件发生带来的信息量的多少。事件一旦发生，就消除了不确定性，从而带来了信息量。
• 表示为了确定事情的发生，所需信息量的多少

对于事件集合 X = { x 1 , x 2 , x 3 . . . . x n } X=\lbrace x_1,x_2,x_3....x_n \rbrace X={x1​,x2​,x3​....xn​}，其中某一事件$x_i$发生的概率为$p_i$，则自信息量的定义为：

$I(x_i)=-\log p_i$

其中 $I(x_i)⩾0$，且随$p_i$减小而增大。(底数为2时，自信息的单位是bit)

那什么是条件自信息呢？
倘若事件Y发生后收获的信息会改变事件X的不确定性，则在Y的影响下，此时事件X的不确定性就是其的条件自信息，其表达式如下:

$I(x|y)=-\log p(x|y)$

1.1.2 熵

令$X$表示输入离散事件集合 （简称集） ，其中 X = { x k , k = 1 , 2 , . . . K } X=\lbrace x_k , k=1,2,...K \rbrace X={xk​,k=1,2,...K}，对应每个事件$x_k\in X$,相应概率为 $Q(x_k)$,简记为 $Q_k$,且

$\sum _{k=1}^K{Q}_k=1$,其中 $Q_k\ge 0,k=1,2,...K$

以 { X , Q ( x ) } \lbrace X,Q(x) \rbrace {X,Q(x)} 表示输入概率空间。

集 { X , Q ( x ) } \lbrace X,Q(x) \rbrace {X,Q(x)} 上定义的自信息量$I(x)$的数学期望表示如下:

$H(x)\stackrel{\mathrm{def}}{==}E[I(x)]=\sum _{x\in X}Q(x)I(x)=-\sum Q(x)\log Q(x)$

$H(x)$ 称为 集$X$ 的平均自信息量，又称作是 集$X$ 的信息熵，简称熵。 其表示了 集$X$ 中事件出现的平均不确定性，几位了确定 集$X$ 中出现的一个事件平均所需的信息量（观测之前），或*集$X$*中每出现一事件平均给出的信息量（观测之后）。

1.1.3 条件熵

定义在 集 { Y , Ω ( y ) } \lbrace Y,\Omega(y) \rbrace {Y,Ω(y)} 上的随机变量$H(X|y)$的数学期望

$H(X|Y)\stackrel{\mathrm{def}}{==}E[H(X|y)]=\sum _x\Omega (y)H(X|y)\stackrel{\mathrm{def}}{==}-\sum _x\sum _{y}P(x,y)\log P(x|y)$

称做 集$X$ 是相对于 集$Y$ 的条件熵. 当 集$X$ 和 集$Y$ 统计独立时，有

$H(X|Y)=H(X)$

1.1.4 联合熵

定义在 集$\{(X,Y),P(x,y)\}$ 上的随机变量 $I(x,y)=-\log P(x,y)$的数学期望

$H(X,Y)\stackrel{\mathrm{def}}{==}E[I(x,y)]=\sum _{x}P(x,y)I(x,y)\stackrel{\mathrm{def}}{==}-\sum _x\sum _{y}P(x,y)\log P(x,y)$

称做 是集$X$ 和 集$Y$ 的联合熵.

然后由

① $P(x,y)=Q(x)P(y|x)=\Omega (y)P(x|y)$
② $H(x)\stackrel{\mathrm{def}}{==}E[I(x)]=\sum _{x\in X}Q(x)I(x)=-\sum Q(x)\log Q(x)$
③ $H(X|Y)\stackrel{\mathrm{def}}{==}E[H(X|y)]=\sum _x\Omega (y)H(X|y)\stackrel{\mathrm{def}}{==}-\sum _x\sum _{y}P(x,y)\log P(x|y)$
④ $H(X,Y)\stackrel{\mathrm{def}}{==}E[I(x,y)]=\sum _{x}P(x,y)I(x,y)\stackrel{\mathrm{def}}{==}-\sum _x\sum _{y}P(x,y)\log P(x,y)$

联合推导出
⑤ $H(X,Y)=H(X)+H(X|Y)=H(Y)+H(Y|X)$

式 ⑤ 表述了信息的可加性。当集$X$ 和 集$Y$ 统计独立时

$H(X,Y)=H(X)+H(Y)$