信息熵为凹函数-推导

凹函数和凸函数，是凹凸是相对于x轴来说的，对于熵来说，它是凹函数。因为它是-log函数，函数曲线相对于x轴来说是凸的。

Jensen不等式推导

以下是证明熵是凹函数。

引理：

①Jensen不等式，条件：对于实数域上的凸函数f，如果x是一个随机变量，则不等式可以表述为：$f(E[x])\le E[f(x)]$，意为自变量均值的函数值（曲线上的值）≤自变量函数值的均值（直线上的值）。

②利用Jensen不等式判定函数为凹或凸。

凸：如果对于所有的x,y和所有t$\in [0,1]$，满足：$f(t\cdot x+(1-t)\cdot x)\le t\cdot f(x)+(1-t)\cdot f(x)$，则为凸函数——直线上的点y值要比曲线上的点y值大。

凹：则相反。

因为-log函数是凸函数。所以，$-\log (t\cdot x+(1-t)\cdot x)\ge t\cdot (-\log (x))+(1-t)\cdot (-\log (x))$。

$$\begin{gathered} H(\lambda p+(1-\lambda )q))={\sum }_{i=1}^n-(\lambda p_i+(1-\lambda )q_i)\cdot \log (\lambda p_i+(1-\lambda )q_i) \\ ={\sum }_{i=1}^n(\lambda p_i+(1-\lambda )q_i)\cdot -\log (\lambda p_i+(1-\lambda )q_i) \\ \ge {\sum }_{i=1}^n(\lambda p_i+(1-\lambda )q_i)(\lambda \cdot -\log p_i+(1-\lambda )(-\log q_i)) \\ ={\sum }_{i=1}^n(\lambda p_i\cdot -\log p_i+\lambda p_i\cdot (1-\lambda )(-\log q_i))+(1-\lambda )q_i\cdot -\log p_i+(1-\lambda )q_i\cdot (1-\lambda )(-\log q_i)) \\ ={\sum }_{i=1}^n(\lambda p_i\cdot -\log p_i+(1-\lambda )q_i\cdot (1-\lambda )(-\log q_i))+{\sum }_{i=1}^n(\lambda p_i\cdot (1-\lambda )(-\log q_i))+(1-\lambda )q_i\cdot -\log p_i) \\ \ge {\sum }_{i=1}^n(\lambda p_i\cdot -\log p_i+(1-\lambda )q_i\cdot (1-\lambda )(-\log q_i)) \\ ={\lambda }^{2}H(p)+(1-\lambda {)}^{2}H(q) \\ =\lambda H(p)+(1-\lambda )H(q) \end{gathered}$$
因为$q_i$和$p_i$都是0-1的概率，所以一长串要大于单独的剩下两项。同时，尽管最后有${\lambda }^2$和$(1-\lambda {)}^2$，因为关注的是线性组合，这都是常数，可以改写成另一种常数，（这里我不确定是否合理，希望小伙伴多多指正）所以这是最后的化简结果。

最后得到$H(\lambda p+(1-\lambda )q)\ge \lambda H(p)+(1-\lambda )H(q)$，即熵是凹函数。

这是利用了Jensen不等式来辅助证明的。

下面知乎博客的证明式子更直接简单易于理解。直接看图。

GPT推导

GPT给的回答是这样，但现在理解不了。

好的，让我们重新审视熵是凹函数这一性质，并结合之前的讨论。

我们知道熵$ ( H(X) ) $的定义为：

$[H(X)=-{\sum }_{x}P(x)\log P(x)]$

我们需要证明熵的二阶导数是负的，即$ ( \frac{{d^2H}}{{dx2}} < 0 )$。

首先，我们计算一阶导数：

$[\frac{dH}{dx}=-{\sum }_x\left(\frac{dP(x)}{dx}\log P(x)+P(x)\frac{d(\log P(x))}{dx}\right)]$

接着，计算二阶导数：

$[\frac{d^{2}H}{d{x}^2}=-{\sum }_x\left(\frac{d^{2}P(x)}{d{x}^2}\log P(x)+2\frac{dP(x)}{dx}\frac{d(\log P(x))}{dx}+P(x)\frac{d^2(\log P(x))}{d{x}^2}\right)]$

现在，让我们考虑概率分布$ ( P(x) ) $的条件：

1. 所有的概率值都必须是非负的：$(P(x)\ge 0)$，对于所有的$ ( x )$。
2. 所有概率值的总和必须为1：$({\sum }_{x}P(x)=1)$。

根据上述讨论，我们知道$(P(x))$是非负的，因此$(\frac{dP(x)}{dx})$也是非负的。对数函数的二阶导数是负的。因此，我们可以得出结论：

1. $(\frac{d^{2}P(x)}{d{x}^2})$是非负的。
2. $(\frac{d^2(\log P(x))}{d{x}^2})$是负的。

由于所有的概率值 $(P(x))$ 的总和为1，因此其一阶导数 $(fracdP(x)dx)$的积分为0。这意味着对数函数的一阶导数$(\frac{d(\log P(x))}{dx})$的积分也为0。

综合以上结果，我们可以得出结论：熵$(H(X))$的二阶导数是负的，即$(H(X))$是凹函数。

这个证明表明，无论概率分布$(P(x))$是如何变化的，其熵的凹性质始终成立，这是信息论中一个重要的性质。