目录
1:熵的凸性
凸函数是定义在定义域为凸集的函数。
1:凸集的形象解释:我们在集合C中取任意两个元素,在这两个元素之间画一条直线,如果这条直线上的每一点都属于C,则集合C叫凸集。
2:上凸函数与下凸函数。
看突出的部分,向下凸就是下凸函数,向上凸就是上凸函数。
3:重要不等式
统计平均可以看成一个加权线性组合,利用下凸函数性质即可得到该不等式
相对熵的下凸性
熵的上凸性
离散随机变量的熵与相对熵的关系:
这就好理解:常数+一个下凸函数的反=上凸函数
TH:熵函数就是随机分布P的上凸函数。
分析:
对信源无失真编码时,我们无法改变信源符号的原始分布(一个客观事实),但是我们可以对字母表进行一一映射,试图改变编码后符号的概率分布,使得编码后的码字尽可能携带多的信息量,在总信息量不变的前提,就有可能保证平均码长小。一一映射也使得信源的解码无差错。怎么做一一映射属于优化问题,也就是使得编码后的分布成最优分布。由于凸函数的极值就是最值,求极值的方法较为简单。
2:信源的分类
按照:信源符号的取值,以及取值时间的离散或连续两方面去分类。
几种信源信源
3:自信息
1:自信息定义
自信息的意义:在发生前表征事件不确定性的大小,在发生后表征事件所提供的信息量。
2:其他形式自信息
四:离散无记忆扩展信源
五:马尔科夫信源
1:马尔科夫链
马克科夫链的状态转移概率:
:当前时刻为m,从状态i经过n步步长到达状态j的:n步转移概率。
2:齐次马尔科夫链
特点:转移概率与初始时刻无关,也就是转移概率是平稳的
齐次马氏链关键:初始分布+状态概率矩阵。
各态历经性
从w的下标j可知:无论之前处于哪个状态只要步长足够大,最后达到J状态概率相同。
稳态求解:
六:马尔可夫信源的信源熵
时齐马尔科夫信源
条件概率:与时间起点无关,则信源的输出可以看作时齐的马尔可夫链,称此信源为:时齐马尔可夫信源。
例子:注意状态转移矩阵和符号转移矩阵的区别。
求解方法
注意:求熵针对符号,用的是符号条件熵。
计算例子
注意:看输出,这里只输出一个符号,所以符号和状态矩阵等价。
例子2:
注意:输出是两个符号,每个状态是两个符号