谈谈编码 | 信息论

编码的基本过程

假使我们现在要传输一段英文，为了传输的方便要对其进行编码。英文内容是：I love coding. 要编码首先要想好码符号，最常见的码符号是0和1，把不同的0和1的组合与英文语句的每个字母对应起来，这就是编码的过程。现在规定每个代码长度是4，那我用最简单的方法来编码：0000代表I，0001代表空格，0010代表l，0011代表o ……

写个表格吧，清晰一点：

英文字母	代码
I	0000
空格	0001
l	0010
o	0011
v	0100
e	0101
c	0110
d	0111
i	1000
n	1001
g	1010

okay, 所有的字母或空格都有了对应的代码，这就是编码第一步。我们把需要被编码的字母和空格都称为符号.

把他们组合起来，英文语句I love coding 就变成了码长为4的代码：

0000000100100011010001010001011000110111100010011010

然后你可以对你的室友说：“我拍一下桌子就代表0，拍一下手代表1，你来看看我想表达什么。”你开心得拍了起来，室友很认真地记录你的拍打情况，按照编码的表格4个数字1个符号地破译，最终发现你是个代码爱好者。哈哈，不嫌累可以试试。

一些数学的表示方法

符号集

英文语句I love coding是由字母和空格组成，把这些符号组成一个集合，我们称之为符号集，用字母 $S$ 来表示：

$$S = \{ I, 空格, l, o, v, e, c, d, i, n, g\}$$

这是一个实例，一般表示符号集的方法是：

$$S = \{ S_1, S_2, S_3, S_4, \cdots, S_q\}$$

$q$ 说明集合里一共有 $q$ 个元素。

码符号集

我们上述例子中的码符号是啥？是0和1，我们就是用它俩来编码的。这里再定义一个码符号集：$X = \{ 0, 1\}$.

同样它是一个实际的例子，一般表示码符号集的方法是：

X={ X1,X2,⋯,X