[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵

离散信源

信源即信息发出的源头，在后续的信道模型中，信源发出的信息即视为信道输入的信息。
根据信源发出信息的取值，可将信源分为离散信源和连续信源。
顾名思义，离散信源即发出的信息取值为离散型的信源；连续信源即发出的信息取值为连续型的信源。
离散信源中又根据符号出现的概率是否与前面符号有关分为：离散无记忆信源和离散有记忆信源。

信息熵

前面已经了解过了自信息的概念。
自信息表示的是某个事件的不确定性。这是具体意义上的。
如果表示的事件从某个具体事件扩大为某个事件集合，
则用熵来表示集合的不确定度。
信源的取值就是一个集合，信源熵则表示信源发出信息（发出符号）的不确定度。


(信源)熵单位: bit/sig，nat/sig，hart/sig
要注意的是，信源熵表示的是某个信源X的平均不确定性，表示的是平均每个信源符号所携带的信息量。则一旦给定信源，则其信源熵也即确定下来。
解决问题是要注意，要求解的是某个具体的消息序列每个符号携带的平均信息量，还是某个信源发出的每个符号携带的平均信息量。前者是先取得具体消息序列的信息量然后除以符号数目；后者使用信源熵公式可以求得。
比如：

第(1)问求的是题设给定消息，也即具体序列，中平均每符号携带的信息量。
需先求得该消息序列的自信息 I ，然后再除以符号数目，得到所求结果。
第(2)问求的是信源中平均没符号携带的信息量。将题设概率空间代入信源熵公式中即可求得。
求信源熵的过程如下例所示：

联合熵

单个符号的离散无记忆信源，如果进行二次扩展，得到二次扩展信源，则其熵为两个相同单个符号DMS的联合熵。
二次扩展信源发出的序列元素都属于原信源。根据排列组合的理论可知，若原信源的符号集合有a个元素，则二次扩展信源的序列集合有a^2个元素。
示例如下：

将其推广，将单个符号的DMS进行N次扩展，可得到N次扩展信源。

若原信源的符号集合有q个元素，则N次扩展信源的序列集合有q^N个元素。

条件熵

条件熵的定义式中，对数内部用的是条件概率，这很容易理解。对条件概率取倒再取对数，这是求自信息的标准过程。求得的自信息表示的是发出符号b后发出符号a的不确定性。
按照熵的定义，熵等于概率取倒再取对数的值乘以对应概率。
但是对数之外与其相乘的是联合概率。

条件熵多应用于如下离散有记忆信源的计算中。

平稳信源是指符号与时间起点无关的信源。