最大化熵函数和CVX求解方法

---

熵函数的凸性

假设随机变量 $x=x_i,i=1,2,...N$ 的概率为 $p_i,i=1,2,...N$ ,则熵可以表示为：
$$H(p_1,p_2,...p_N)=-\sum _{n=1}^N{p}_i{\log }_2(p_i),\sum _{n=1}^N{p}_i=1,p_i\ge 0$$
极大化熵等价于极小化$-H$ ，原优化问题可以表示为：
$$\begin{gathered} \mathrm{m}\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{z}\mathrm{e}-H(p_1,p_2,...p_N) \\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}\sum _{n=1}^N{p}_i=1 \\ {p}_i\ge 0 \end{gathered}$$

根据凸函数的性质，通过证明 ${\nabla }_p^2(-H)⪰0$即可证明$-H$ 的凸性:
$${\nabla }_p^1(-H)=\frac{1}{\ln (2)}\left(\begin{array}{ccccc}1+\ln (p_1)& 0& 0& \cdots & 0\\ 0& 1+\ln (p_2)& 0& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1+\ln (p_N)\end{array}\right)$$
$${\nabla }_p^2(-H)=\frac{1}{\ln 2}\left(\begin{array}{ccccc}\frac{1}{p_1}& 0& 0& \cdots & 0\\ 0& \frac{1}{p_2}& 0& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & \frac{1}{p_N}\end{array}\right)⪰0$$
由上可知， $-H$ 是一个凸函数，且约束为线性约束，则该问题是凸优化问题。

求解凸优化问题

利用Matlab CVX工具箱求解这个凸优化问题。

clc
clear all
n_p = 32;  %假设概率值的个数为32
cvx_begin 
    variable p(n_p)
    minimize sum(rel_entr(p,1))  
    subject to
        p>=0
        sum(p)==1
cvx_end
result = -p'*log(p)/log(2)

其中$rel\_entr(x,y)=x\log (\frac{x}{y})$。

求得熵的最大值：$result=5,p_i=\frac{1}{32}$。

注意

若直接$\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{z}\mathrm{e}\mathrm{s}\mathrm{u}\mathrm{m}(p.\ast log(p))$，则工具箱会报错：

总结

首先证明了熵函数的凸性，之后通过CVX工具箱求解了这个凸优化问题。