通信入门系列——信息论之信息熵、联合熵、条件熵、互信息量

微信公众号上线，搜索公众号小灰灰的FPGA,关注可获取相关源码，定期更新有关FPGA的项目以及开源项目源码，包括但不限于各类检测芯片驱动、低速接口驱动、高速接口驱动、数据信号处理、图像处理以及AXI总线等

本节目录

一、信息论创始人——香农
二、信息和比特
三、信息熵
四、联合熵
五、条件熵
六、互信息量
本节内容

一、信息论创始人——香农
信息论创始人——香农，全称为克劳德·艾尔伍德·香农，美国数学家。1948年，香农发表了“A Mathematical Theory of Communication”即通信的数学原理，标志了信息论的诞生，在论文中定义了信息的度量单位比特、信息熵和信息容量，并证明了AWGN信道的信道容量为C=Blog(1+S/N)，至今还指引着信息产业的发展。
二、信息和比特
香农定义了比特作为信息的度量单位。通常，在计算机领域所说的CPU是32bit或者64bit，和此处比特是一个意思。
香农中是如何定义信息的？
一个随机时间发生的概率是p,对应的自信息为I=-log§。概率p是一个小于1的数，取对数为负，再加上一个负号就变成了整数，若以2为底，信息I的单位就是bit。
插入一点，如果随机变量是离散的，那么p表示的是概率，如果随机变量是连续的，那么p表示的概率密度。
三、信息熵
无记忆信源，指的时当前事件发生的概率，与上一个事件没有关系。离散无记忆信源，用一个集合表示，集合当中的每个元素都是事件，每个事件都有一个发生的概率。将一个离散无记忆信源表达成一个概率分布的集合，即{p1,p2,……，pN}。
对于离散无记忆的信源，用信息论的知识来描述，就是常说的信息熵，简称熵entropy，表达式如下：

其中，-log(pi)表示每个事件的自信息，自信息乘以概率后求和，就是平均。可以将熵理解为信源当中所有事件的自信息的平均值，反映了一个信源整体的不确定度。在等概率分布，也就是p1=p2=……=pN=1/N时候，熵达到最大值。
四、联合熵
联合熵，可以直接从熵的定义来理解，描述的是(X,Y)联合信源的不确定度，其对应的表达式为：

五、条件熵
条件熵描述的是以某个事件为条件是，X的不确定度。若这个事件是一个具体的时间，可以用下述表达式来表达,其中随机变量Y=y时，X的不确定度为：

若Y是一个随机变量，对H(X|Y=y)取统计平均，得到的是在Y发生的总体条件下的X的不确定度，也就是所谓的条件熵：

若随机变量X、Y相互独立，则满足下述关系式：①H(X|Y)=H(X)；②H(X,Y)=H(X)+H(Y)。同时，联合熵与条件熵满足H(X,Y)=H(X)+H(Y|X)。
六、互信息量
离散随机变量X,Y，其互信息I(X;Y)定义为：

常用的关系等式：
①I(X;Y)=I(Y;X)；
②I(X;Y)=H(X)-H(X|Y)；
③I(X;Y)=H(Y)-H(Y|X)。
其中H(X)是X的不确定度，H(X|Y)是以Y为条件的X的不确定度，H(Y)是Y的不确定度，H(Y|X)是以X为条件的Y的不确定度。
其中信息熵与互信息量的关系图如下：