离散信源最大熵证明

离散信源最大熵证明

我们都知道对于单符号离散信源，信源熵H(X)最大的条件是：X满足均匀分布。

准备工作 $H(X)=-{\sum }_{i=1}^{n}p(x_i)\ast log(p(x_i))$…(1)

公式(1) 是信源熵的公式，其中，‘n’ 表示信源发送符号的类型数量，’$p(x_i)$’ 表示发送符号’$x_i$’ 的概率。

已知条件：

$p(x_i)>0$ … （2）
${\sum }_{i=1}^n$