随机变量的熵的取值范围

熵（entropy）是表示随机变量不确定性的度量.设X是一个取有限个值的离散随机变量，其概率分布为$$P(\chi =x_i)=p_i,i=1,2,\dots ,n$$则随机变量X的熵定义为$$H(\chi )=-\sum _{i=1}^n{p}_i\log p_i$$当$$p_i=0$$时，定义$$0\log 0=0$$通常上式中对数以2为底或者以e为底.
熵只依赖于X的分布，与X的取值无关，X的熵也记作$$H(p)=-\sum _{i=1}^n{p}_i\log p_i$$有取值范围$$0⩽H(P)⩽\log n$$

---

$$\because 0⩽p_i⩽1且对数的底数大于1,\therefore \log p_i⩽0,\therefore 0⩽H(p)$$$$当均匀分布时，熵值最大，由于均匀分布时，限定越小，不确定性越大，熵取最大值.$$$$取p_i=\frac{1}{n}，H(p)=\log n，综上，有0⩽H(P)⩽\log n\square$$熵值最大的取值是根据熵的定义得到的.

参考：
《统计学习方法》，李航，p60.