吉布斯不等式证明相对熵的非负性
P22214010苏慧红P22214009苏春丰
吉布斯不等式是热力学和信息论中的重要不等式,其可以用来证明相对熵的非负性。通过引入熵的概念和随机过程中的熵的变化,可以推导出相对熵的非负性。在证明过程中,我们可以看到吉布斯不等式的普适性和重要性,以及其与信息论中基本概念之间的联系。这一结果对应用中的广泛性有着重要意义,为我们理解概率分布之间的差异提供了重要的数学具和基础。
相对熵
相对熵(relative entropy),又被称为Kullback-Leibler散度(Kullback-Leibler divergence)或信息散度(information divergence),是两个概率分布(probability distribution)间差异的非对称性度量 。在信息理论中,相对熵等价于两个概率分布的信息熵(Shannon entropy)的差值 。
相对熵是一些优化算法,例如最大期望算法(Expectation-Maximization algorithm, EM)的损失函数 。此时参与计算的一个概率分布为真实分布,另一个为理论(拟合)分布,相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
设pi和qi是离散随机变量X中的取值的两个概率分布,则p对q的相对熵是:
吉布斯不等式定义
以下为用吉布斯不等式证明的过程
至此,相对熵的非负性证明完毕