目录
一：熵的定义
解释：
,由于P(x)介于0-1之间，
大于等于0.
不等式：
不等式说明了信源成等概分布时，熵值达到最大。
二：联合熵和条件熵
由于熵与概率分布有关，故而联合概率和条件概率也能定义熵；概率的链式法则以及贝叶斯公式也在熵的计算中可用。
链式法则：
韦恩图（形象刻画熵之间的关系）
重要结论：条件熵为零时，非条件是条件的函数。
三：相对熵
相对熵（kl距离）不是测度或者说是泛函里的距离空间
计算实例：（1个p(x)对应一个q(x)）
四：互信息
分析：X与Y独立时，I(x,y)=0.
五：条件互信息
Z作为条件，直接在原有的I(x,y)公式上补上z条件。
六：条件相对熵
证明相对熵非负
4056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
