关于信息熵最大值的讨论

最大离散熵定理

\qquad 一般的离散信源的r个概率分量分别为 $p_1,$$p_2,$$...,$$p_r,$必须满足条件${\sum }_{i=1}^r{p}_i=1$.熵函数$H(p_1,p_2,...,p_r)$的最大值，即在满足约束条件${\sum }_{i=1}^r{p}_i=1$的条件下，熵函数$H(p_1,p_2,...,p_r)$的最大值。

以下为求解证明过程：
按照在高数上求取极值点的方法，首先根据拉格朗日数乘法，做出辅助函数，如下所示：
$$\begin{gathered} F(p_1,p_2,...,p_r)=H(p_1,p_2,...,p_r)+\lambda [\sum _{i=1}^r{p}_i-1] \\ =-\sum _{i=1}^r{p}_{i}ln{p}_i+\lambda [\sum _{i=1}^r{p}_i-1](公式1) \end{gathered}$$

\qquad 在公式中，$\lambda$为待定常数，对辅助函数$F(p_1,p_2,...,p_r)$中的r个变量$p_i(i=1,2,...,r)$,分别求偏导，并使之为0，可以得到方程;
$$-(1+ln{p}_i)+\lambda =0(i=1,2,...,r)(公式2)$$

对上述方程求解可得：
$$p_i=e^{\lambda -1}(i=1,2,...,r)(公式3)$$

将以上公式三带入${\sum }_{i=1}^r{p}_i=1$可得：
$$\sum _{i=1}^r{p}_i=\sum _{i=1}^r{e}^{(\lambda -1)}=r{e}^{(\lambda -1)}=1$$

对上式整理可得：
$$e^{(\lambda -1)}=\frac{1}{r}(公式4)$$

\qquad 由上边的公式三和公式四可以解得使熵函数$H(p_1,p_2,...,p_r)$取得的条件极大值，也就是熵函数$H(p_1,p_2,...,p_r)$的最大值的信源符号$a_i(i=1,2,...,r)$相应的概率分布
$$p_i=\frac{1}{r}(i=1,2,...,r)(公式5)$$

根据公式五可以求得熵函数的最大值
$$\begin{gathered} H_0(p_1,p_2,...,p_r)=H(\frac{1}{r},\frac{1}{r},...,\frac{1}{r}) \\ =-\sum _{i=1}^r\frac{1}{r}log\frac{1}{r} \\ =logr(比特/信符)（公式6） \end{gathered}$$

在一般情况下，离散信源的熵不会超过公式6所计算的数值，也就出现了以下的公式：
$$H(p_1,p_2,...,p_r)\le logr(比特/信符)(公式7)$$

\quad 以上也就是最大离散熵定理的证明过程。这个定理表明，在所有符号种数相同，而符号的概率分布不同的离散信源中，以先验等概的离散的信源的信息熵最大，其最大值为信源符号种数$r$的对数。这说明，离散信源熵的最大值，只取决于信源的符号种数$r$，符号种数$r$越大，其信息熵的最大值也越大。

均值受限的最大熵值

\qquad 最大 离散熵是离散信源在满足约束条件${\sum }_{i=1}^r{p}_i=1$下，推导得出的一般性结论，如果在此基础上再加上一个约束条件：信源输出符号$a_i(i=1,2,...,r)$的均值受限，即
$$\sum _{i=1}^r{a}_i{p}_i=m$$
同样的，采用拉格朗日数乘法来构造辅助函数:
$$\begin{gathered} F(p_1,p_2,...,p_r)=H(p_1,p_2,...,p_r)+{\lambda }_1[\sum _{i=1}^r{p}_i-1] \\ +{\lambda }_2[\sum _{i=1}^r{a}_i{p}_i-m] \end{gathered}$$

\qquad 其中的 ${\lambda }_1$、${\lambda }_2$均为待定常数，对辅助函数$F(p_1,p_2,...,p_r)$中的变量$p_i(i=1,2,...,r)$分别求偏导，并使其为0，可得如下方程：
$$-(1+ln{p}_i)+{\lambda }_1+{\lambda }_2{a}_i=0(i=1,2,...,r)$$

对上述方程整理可得 $p_i$ 表达式：
$$p_i=e^{{\lambda }_1-1}{e}^{{\lambda }_2{a}_i}(i=1,2,...,r)$$

将$p_i$带入约束方程${\sum }_{i=1}^r{p}_i=1$得：
$$\sum _{i=1}^r{e}^{{\lambda }_1-1}{e}^{{\lambda }_2{a}_i}=1⟹e^{({\lambda }_1-1)}=\frac{1}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}$$

结合$p_i$公式，对上式等式两边同乘 $e^{{\lambda }_2{a}_i}$可得:
$$e^{{\lambda }_2{a}_i}{e}^{({\lambda }_1-1)}=\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}⟹p_i=\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}(i=1,2,...,r)(公式1)$$

再由另一个约束条件${\sum }_{i=1}^r{a}_i{p}_i=m$,将p_i带入可得：
$$\sum _{i=1}^r{a}_i\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}=m$$

在计算${\sum }_{i=1}^r{a}_i(.)$时，可将${\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}$视为常数$C$,则有：
$$\sum _{i=1}^r{a}_i\frac{e^{{\lambda }_2{a}_i}}{C}=m⟹\sum _{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}=Cm=m\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}(公式2)$$

\qquad 由上式可以求得待定常数${\lambda }_2$，并将其带入公式1$p_i$表达式，则可以得出使得熵函数$H(p_1,p_2,...,p_r)$达到最大值的$p_1,p_2,p_3,...,p_i$等各个频率分量，进而求得熵函数的最大值。
事实上，我们可以根据概率分量$p_i(i=1,2,...,r)$的表达式，就可以直接构成满足约束条件${\sum }_{i=1}^r{p}_i=1$和${\sum }_{i=1}^r{a}_i{p}_i=m$的最大熵表达式：
$$\begin{gathered} H_0(p_1,p_2,...,p_r;m)=-\sum _{i=1}^r{p}_{i}ln{p}_i \\ =-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}\right] \\ =-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln(e^{{\lambda }_2{a}_i})\right]+\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{{\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})\right](式3) \end{gathered}$$
\qquad 对于上式的化简，我们采用与第一节同样的方法，在计算${\sum }_{i=1}^r(.)$时，可将${\sum }_{j=1}^r{e}^{{\lambda }_2{a}_j}$视为常数$C_1$,将上式化简如下：
$$\begin{gathered} 式3=-\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{C_1}ln(e^{{\lambda }_2{a}_i})\right]+\sum _{i=1}^r\left[\frac{e^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})\right] \\ =-\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(e^{{\lambda }_2{a}_i})+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-\frac{{\lambda }_2{\sum }_{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}}{C_1}+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})(式4) \end{gathered}$$

在公式2两端同乘${\lambda }_2$得
$${\lambda }_2\sum _{i=1}^r{a}_i{e}^{{\lambda }_2{a}_i}=m{\lambda }_2\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}$$

带入上述公式4则有：
$$\begin{gathered} 式4=-\frac{m{\lambda }_2{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}+\frac{{\sum }_{i=1}^r{e}^{{\lambda }_2{a}_i}}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-\frac{m{\lambda }_2{C}_1}{C_1}+\frac{C_1}{C_1}ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \\ =-m{\lambda }_2+ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j}) \end{gathered}$$

经过化简以后最大熵函数得表达式为：
$$H_0(p_1,p_2,...,p_r;m)=-m{\lambda }_2+ln(\sum _{j=1}^r{e}^{{\lambda }_2{a}_j})(式5)$$

\qquad 最后再将公式2解出的待定常数${\lambda }_2$带入式5，则可以直接计算出熵函数$H_0(p_1,p_2,...,p_r;m)$的最大值。

参考书目

信息论与编码第二版 姜丹编著