信息量，熵，互信息，信道容量等相关概念

读论文时，发现关于信息论一无所知的样子，基本概念十分混淆，下面是一些基本概念及对应的理解~

一. 信息量

1. 定义

信息量是对事件的不确定性的度量，单位bit。

定义：在随机变量X中，事件x的(自)信息量$I(X=x)$简写为$I(x)=-lo{g}_{2}p(x)$，单位$bit$。

可见，概率越小，信息量越大；概率越大，信息量越小。

2. 特性

(摘自曹雪红编著的《信息论与编码》)

1. 当$p(x)=1,I(x)=0$;

2. 当$p(x)=0,I(x)=\infty$；

3. 若两个事件x，y同时出现，可以用联合概率$p(x,y)$来表示他们同时发生的概率。这时，x，y同时出现这个联合事件(x,y)的自信息量为$I(x,y)=-log2p(x,y)$；当x和y相互独立时$p(x,y)=p(x)p(y)$ ，那么就有$I(x,y)=I(x)+I(y)$。

4. 若两个事件的出现不是独立的，而是有相互联系的，则可以用条件概率$p(x|y)$来表示，即在事件y出现的概率下，事件x发生的条件概率，这样x的条件自信息量可以定义为 $I(x\mid y)=-lo{g}_{2}p(x\mid y)$.

   事件 x i x_i