信息论基础——熵

信息论基础——熵

一 、Jensen不等式
定理1 设$f$ 为区间$I$ 上的凹函数，$p_i\in [0,1],i=1,2,\cdots ,n$,且${\sum }_{i=1}^n{p}_i=1$，则对任何$x_i\in I$，有$$f\left(\sum _{i=1}^n{p}_i{x}_i\right)⩾\sum _{i=1}^n{p}_{i}f\left(x_i\right)$$

若 $f$ 严格凹，上式的等号只有在下列条件满足时才成立：若$p_i\cdot p_j̸=0$，则必有$x_i=x_j$
证明：略
对于对数函数$f(x)=\log x$在区间$(0,+\infty )$是凹函数，有$\log \left({\sum }_{i=1}^n{p}_i{x}_i\right)⩾{\sum }_{i=1}^n{p}_i\log x_i$，$\forall i,x_i>0,p_i⩾0$，且${\sum }_{i=1}^n{p}_i=1$。

二、熵
一个离散随机变量$X$的熵$H(X)$的定义为$$H(X)=\sum _{X}P(X)\log \frac{1}{P(X)}=-\sum _{X}P(X)\log P(X)$$ $\log P(X)$以为$2$底，熵的单位是比特，以$e$为底，熵的单位是奈特
熵是对随机变量的不确定性的度量。随机变量$X$的熵越大，说明它的不确定性越大。
熵的基本性质
$(1)$ $H(X)⩾0$
$(2)$ $H(X)⩽\log |X|$,等号成立当且仅当对$X$的所有取值$x$有$P(X=x)=\frac{1}{|X|}$

证明：$(1)$ 对$X$的任意取值$x$，总有$-P(X=x)\log P(X=x)⩾0$
$(2)$ $$\begin{array}{rl}H(X)& =\sum _{x}P(X)\log \frac{1}{P(X)}\\ & ⩽\log \sum _{X}P(X)\frac{1}{P(X)}=\log |X|\end{array}$$命题得证，此性质经常被称为最大熵原理

三、联合熵、条件熵和互信息
联合熵：两个离散随机变量$X$和$Y$的联合熵的定义为
$$H(X,Y)=\sum _{X,Y}P(X,Y)\log \frac{1}{P(X,Y)}=-\sum _{X,Y}P(X,Y)\log P(X,Y)$$
条件熵：给定$Y=x$时$X$的条件熵为
$$H(X|Y=y)=\sum _{X}P(X|Y=y)\log \frac{1}{P(X|Y=y)}$$
条件熵$H(X|Y$