这句话“信息量”好大

平时大家常说：这句话信息量好大，那么从科学的角度，怎么解释这句话呢？

首先，信息的载体是消息，那么对于不同的消息，带给我们的直观感受也是不一样的。

比如，“国足获得世界杯冠军”的信息显然要比“国乒获得世界杯冠军”的信息量要大得多。

究其原因，国足勇夺世界杯是如假包换的小概率事件（如果不是不可能事件的话），发生的可能性微乎其微；

而男乒夺冠已经让国人习以为常，丢掉冠军的可能性才是意外。

因此，以不确定性来度量信息是一种合理的方式。不确定性越大的消息可能性越小，其提供的信息量就越大。

信息论的鼻祖香农对信息的量化正是基于以上的思路，他定义了“熵”这一信息论中最基本最重要的概念。

虽然这一概念已经在热力学中得到了广泛使用，但直到引申到信息论后，熵的本质才被解释清楚，即一个系统内在的混乱程度。

信息论使用“信息熵”的概念，对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释，并在世界的不确定性和信息的可测量性之间搭建起一座桥梁。

如果事件 A 发生的概率为 P(A)，则这个事件的自信息量的定义为

h(A)=−log2P(A)

如果国足夺冠，1:1000 的夺冠赔率是个很乐观的估计，用这个赔率计算出的信息量约为 10 比特；

而国乒夺冠的赔率不妨设为 1:2，即使在这样高的赔率下，事件的信息量也只有 1 比特。两者之间的差距正是其可能性相差悬殊的体现。

综上再结合现实，往往听到信息量大的消息时，都会让人浮想联翩（不确定性大），同时难以置信（不确定性大导致可能性变小）。