相对熵的非负性证明（P22214010苏慧红 P22214009苏春丰）

吉布斯不等式证明相对熵的非负性

P22214010苏慧红P22214009苏春丰

吉布斯不等式是热力学和信息论中的重要不等式，其可以用来证明相对熵的非负性。通过引入熵的概念和随机过程中的熵的变化，可以推导出相对熵的非负性。在证明过程中，我们可以看到吉布斯不等式的普适性和重要性，以及其与信息论中基本概念之间的联系。这一结果对应用中的广泛性有着重要意义，为我们理解概率分布之间的差异提供了重要的数学具和基础。

相对熵

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值 。

相对熵是一些优化算法，例如最大期望算法（Expectation-Maximization algorithm, EM）的损失函数 。此时参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。

设pi和qi是离散随机变量X中的取值的两个概率分布，则p对q的相对熵是：

吉布斯不等式定义

以下为用吉布斯不等式证明的过程

至此，相对熵的非负性证明完毕