H ( X ) = − ∑ i = 1 m p i ⋅ log 2 ( p i ) H(X)=-\sum_{i=1}^{m}p_i\cdot\log_2(p_i) H(X)=−i=1∑mpi⋅log2(pi) 首先 X X X 是一个随机变量,随机变量中某一个值的概率 p i ∈ [ 0 , 1 ] p_i\in[0,1] pi∈[0,1],所以 log 2 ( p i ) ⩽ 0 \log_2(p_i)\leqslant0 log2(pi)⩽0, H ( X ) ⩾ 0 H(X) \geqslant0