二进制数
这一章对通信原理中信息量、冗余、信息的本质等概念有直观的讲解,二进制数是如何表示信息量?
信息的度量(信息量)与消息重要程度、种类无关,而与其不确定性有关(通信原理对信息的描述)。这句话将信息量与概率模型对应起来(我们知道概率模型由样本空间、样本点以及每个样本点的概率建立起来,要不说机器学习中概率很重要),那如何理解信息量?这个抽象概念如何类比来理解呢?
从书中一步一步剖析:
- 作者首先举例说了几件事情说明很多事情只需要用“是““不是”来表达(换个说法就是0和1)。问一个人你爱不爱我?爱或者不爱(当然现实情况很复杂)。这条信息只需要1bit信息量就能表示清楚(前题假设等概率)。
- 再比如ASCII码中,样本点共127个,那么每个信息量是这么多可能中的一种,就需要7bit来表示。
- 所有可能转化成多种可能性的信息,都可以用bit来表示。最后,用比特表示信息时,我们就是要计算信息有多少可能性?决定了我们需要多少位二进制来表示信息,并为每个可能性分配二进制位。
冗余的概念?
从商品条形码中的有些位并不是为了编码,而是为了检查错误,而设置的比特位数。