信息论基础（包含最大熵模型）

一，基础

1，熵

如果X 是一个离散型随机变量，其概率分布为$p(x)=P(X=x)$，$x\in R$。X 的熵H(X) 为$$H(X)=-\sum _{x\in R}p(x)lo{g}_{2}p(x)$$其中，约定0log 0 = 0。
$H(X)$ 也可以写为$H(p)$。通常熵的单位为二进制位比特(bit)。

熵值度量的是随机变量不确定性的大小或者说是为确定随机变量所需的信息量，随机变量的熵越大，它的不确定性也就越大，为确定随机变量所需的信息量也就越大。

最大熵模型：在只掌握未知分布的部分知识的情况下，符合已知知识的概率分布可能有很多个，但使熵值最大的概率分布最大真实地反映了实际的分布情况。也就是说在已知部分知识的前提下，关于未知分布最合理的推断应该是符合已知知识最不确定或最大随机的推断。

2，联合熵

如果X, Y 是一对离散型随机变量X, Y ~ p(x, y)，X, Y 的联合熵H(X, Y) 为：$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)$$联合熵实际上就是描述一对随机变量平均所需的信息量。

3，条件熵

给定随机变量X的情况下，随机变量Y的条件熵的定义如下：
$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =\sum _{x\in X}p(x)[-\sum _{y\in Y}p(y|x)\log p(y|x)]\\ & =-\sum _{x\in X}\end{array}$$