信息的度量

现代通信技术中定义了信息的度量方法，即信息量和信息熵

一、信息量

信息量分为自信息量和互信息量

自信息量的定义：

互信息量的定义：

互信息是一个变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。