目录
1：熵的凸性
凸函数是定义在定义域为凸集的函数。
1：凸集的形象解释：我们在集合C中取任意两个元素，在这两个元素之间画一条直线，如果这条直线上的每一点都属于C，则集合C叫凸集。
2：上凸函数与下凸函数。
看突出的部分，向下凸就是下凸函数，向上凸就是上凸函数。
3：重要不等式
统计平均可以看成一个加权线性组合，利用下凸函数性质即可得到该不等式
相对熵的下凸性
熵的上凸性
离散随机变量的熵与相对熵的关系：
这就好理解：常数+一个下凸函数的反=上凸函数
TH：熵函数就是随机分布P的上凸函数。
分析：
对信源无失真编码时，我们无法改变信源符号的原始分布(一个客观事实），但是我们可以对字母表进行一一映射，试图改变编码后符号的概率分布，使得编码后的码字尽可能携带多的信息量，在总信息量不变的前提，就有可能保证平均码长小。一一映射也使得信源的解码无差错。怎么做一一映射属于优化问题，也就是使得编码后的分布成最优分布。由于凸函数的极值就是最值，求极值的方法较为简单。
2：信源的分类
按照：信源符号的取值，以及取值时间的离散或连续两方面去分类。
几种信源信源
3：自信息
1：自信息定义
自信息的意义：在发生前表征事件不确定性的大小，在发生后表征事件所提供的信息量。
2：其他形式自信息
四：离散无记忆扩展信源
五：马尔科夫信源
1：马尔科夫链
马克科夫链的状态转移概率：
:当前时刻为m，从状态i经过n步步长到达状态j的：n步转移概率。
2：齐次马尔科夫链
特点：转移概率与初始时刻无关，也就是转移概率是平稳的
齐次马氏链关键：初始分布+状态概率矩阵。
各态历经性
从w的下标j可知：无论之前处于哪个状态只要步长足够大，最后达到J状态概率相同。
稳态求解：
六：马尔可夫信源的信源熵
时齐马尔科夫信源
条件概率：与时间起点无关，则信源的输出可以看作时齐的马尔可夫链，称此信源为：时齐马尔可夫信源。
例子：注意状态转移矩阵和符号转移矩阵的区别。
求解方法
注意：求熵针对符号，用的是符号条件熵。
计算例子
注意：看输出，这里只输出一个符号，所以符号和状态矩阵等价。
例子2：
注意：输出是两个符号，每个状态是两个符号
4861
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
