有关熵的几个概念 及 最大似然和交叉熵的一致性

随机事件的信息量

　　为了描述一个随机事件的信息量，定义了自信息。
　　自信息表示不确定性的程度。
　　一个事件确定发生，是没有信息量的；而一个事件发生的概率越小，则其信息量越大。
　　未知所带来的不确定性，就是自信息要描述的目标。
　　自信息：　　

$$I(x)= log_i \frac{1}{p(x)}$$ 　　 notice：这里的自信息量并不代表信息作用的大小。一般以2为基底。

　　熵：自信息的期望。　　

$$H(x) = \sum_i log_2 \frac{1}{p(x_i)}$$ 　　所有可能情况的信息量的加权均值。（各种不确定情况的平均情况）
　　同时，熵可以表示系统或者变量的混乱程度，越混乱，熵越大。均匀分布时，熵最大。
　　 熵在均匀分布时取得最大值，证明如下：
　　已知：　　 $$H(x)= \sum_i \ln \frac{1} {p(x_i)}, s.t. \sum_i p(x_i) = 1$$ 　　由拉格朗日法构造函数： $$F(x)= \sum_i \ln \frac{1} {p(x_i)} + \lambda (\sum_i p(x_i) -1)$$
　　分别对 $p(x_i)$和 $\lambda$求偏导数：　　 $$\left\{\begin{matrix}\frac{ \partial F} { \partial p(x_i)} = [\ln \frac{1}{p(x_i)} + p(x_i)*\frac{1}{\frac{1}{p(x_i)}}*\frac{-1}{p^2(x_i)}] + \lambda = -\ln p(x_i) -1 + \lambda = 0& \\ \frac{ \partial F} { \partial \lambda} = \sum_i p(x_i) - 1 =0& \end{matrix}\right.$$ 　　求得：　　 $$\left \{\begin{matrix}p(x_i)=e^{\lambda - 1}& \\ \sum_i p(x_i) - 1 =0& \end{matrix}\right. => n e^{\lambda - 1}=1 =>p(x_i)=\frac{1}{n}$$ 　　得证，熵当且仅当 $p(x_i)=\frac{1}{n}$时，存在极值，这里是极大值。
　　在信息论与编码理论中，熵描述一个符号变量的可被编码的程度。
　　 举个例子，计算自信息和熵。
　　 $x$满足二项分布， $x \sim B(n, p=0.8)$, 则 $p(x=1)=0.8$
　　其自信息为 $I(x=1)=log_2 \frac{1}{3/5}$
　　其熵为 $H(x)= \frac{3}{5} log_2 \frac{1}{\frac{3}{5}} + \frac{2}{5} log_2 \frac{1}{\frac{2}{5}}$
　　若对抽样样本，大概估计其熵和自信息。
　　 $x \in {1, 1, 1, 1, 0}$, 则自信息 $I(x=1)=-log_2 \frac{5}{3}$
　　其熵：