编码，隐匿在计算机软硬件背后的语言读书笔记（9）

二进制数

这一章对通信原理中信息量、冗余、信息的本质等概念有直观的讲解，二进制数是如何表示信息量？

信息的度量（信息量）与消息重要程度、种类无关，而与其不确定性有关（通信原理对信息的描述）。这句话将信息量与概率模型对应起来（我们知道概率模型由样本空间、样本点以及每个样本点的概率建立起来，要不说机器学习中概率很重要），那如何理解信息量？这个抽象概念如何类比来理解呢？
从书中一步一步剖析：

1. 作者首先举例说了几件事情说明很多事情只需要用“是““不是”来表达（换个说法就是0和1）。问一个人你爱不爱我？爱或者不爱（当然现实情况很复杂）。这条信息只需要1bit信息量就能表示清楚（前题假设等概率）。
2. 再比如ASCII码中，样本点共127个，那么每个信息量是这么多可能中的一种，就需要7bit来表示。
3. 所有可能转化成多种可能性的信息，都可以用bit来表示。最后，用比特表示信息时，我们就是要计算信息有多少可能性？决定了我们需要多少位二进制来表示信息，并为每个可能性分配二进制位。

冗余的概念？
从商品条形码中的有些位并不是为了编码，而是为了检查错误，而设置的比特位数。