2022刘仲文程聪孙迎迎--用Jensen不等式证明相对熵的非负性

学习内容：利用Jensen不等式证明相对熵的非负性，即:

相对熵的定义

 

Jensen不等式的内容

第一次证明：

第一次证明是无效的，首先是因为Jensen不等式的公式构造有误，不等号右边应为,其次使用Jessen不等式时忽略了对函数的条件要求，构造的log函数为上凸函数，所以自变量取均值作为新自变量的函数值应该大于等于每个点函数值取均值的值。

第二次证明：

 第二次尝试将作为log指数的分母，将分子设定为最小的值即，此时构造的新函数以为自变量，为下凸函数，符合使用条件，同时尝试通过设置pm值来进行放缩，最后得到我们需要证明的式子。然而最后两个式子的不等号无法连接，证明失败。

第三次证明：

 最终完成相对熵非负性的证明

通过本次学习：

1、我们接触了CSDN平台，学会如何在其中查找与筛选自己需要的信息，同时也学习到其他人的一些很好的想法和学习方法。

2、我们更加熟悉Jensen不等式的内容，尤其是在第一次证明后真正理解其含义，并能够熟练的运用，在以后学习中遇到需要运用该不等式的情况时更加得心应手。

3、加深相对熵相关内容的理解，尤其是通过自己动手证明对其非负性印象深刻。