信息论及其若干结论和部分证明过程

首先在介绍信息论之前，有必要提一下信息论之父，克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916年4月30日－2001年2月26日）。他是美国著名的数学家、电子工程师、密码学家。1948年，香农发表了划时代的论文-《A Mathematical Theory of Communication》，奠定了现代信息论的基础。

引言

问题：给定两个离散分布，如何衡量他们之间的相似度？连续的随机变量，又如何衡量相似度？
答：信息论！
下面介绍信息论的一些基本概念。

熵

熵，Entropy,在化学和热力学中是用来描述系统的混乱程度的量。香农巧妙的将其用于信息论，表示数据的混论程度。假设X是离散的随机变量，它的概率质量函数（p.m.f）p(X=s_i)=a_i。那么随机变量X的熵定义如下：

$$H(X)=-\sum_xp(x)log_2p(x)$$
此处熵的单位叫做比特bit。很显然，当X服从0-1分布时，H(X)=0;当X服从离散均匀分布时， $$H(X)=\log_2m$$
其中m为X的不同取值个数。当然，如果X是连续随机变量的话，我们就需要使用积分来替换求和。定义如下：

h(X)=−∫xp(x)lnp(