熵（信息学）

信息学中认为，一个事件所包含的信息量可以用熵来描述，熵在形式上与每个取值的概率有关，等于该概率对2取对数，再乘以该概率，再对所有取值求和，最后加一个符号。熵在数值上等于描述这一事件所需要的比特位，也就是我们想要用它来描述的信息量。我们都知道，对于一个有两个相等概率结果的事件，如抛硬币，熵是1，描述这一事件需要一个比特位，true or false。
同时，根据公式表明，各个取值的概率越平均，熵就越大，因为越难猜，因此一旦得知结果获得的信息就越多。