最大熵定理证明——P02114223张兴玲、P02114175余沁茹、P02114171

设 X 是一个取有限值的离散随机变量，其概率分布为： P(X=xi)=pi,i=1,2,⋯,n ，则随机变量 X 的熵定义为：                       

定义 0log0=0 ，通常，上式中的对数以2或以 e 为底，此时熵的单位称为比特（bit）或纳特（nat），证明 0≤H(X)≤logn 。

证明：

（1）易知 0≤pi≤1 且log的底数大于0，则 −logpi≥0 ，因此 H(X)≥0 ；

（2）根据已知条件可构造以下优化问题：

引入拉格朗日乘子 λ ，构造拉格朗日函数为：

求解：

可得：

将 pi=1/n 带入 得 H(X)=logn ，因此 H(X)≤logn；

证毕。