信息论与编码课件，希望传播给更多的人

最新推荐文章于 2024-09-01 16:57:39 发布

qq_53312778

最新推荐文章于 2024-09-01 16:57:39 发布

阅读量666

点赞数 1

文章标签：预编码 python java c语言 c++

本文链接：https://blog.csdn.net/qq_53312778/article/details/127310408

版权

可能有些图片打不开，链接：https://pan.baidu.com/s/1azDGIkaZRVKbMMGHacNucw
提取码：1111 附上链接，传播知识，知识无价。已关闭打赏

放不下了，图片也加载不出来

信息论与编码

绪论

正式内容前--信息论的概念、形成和发展
1. 信息系统模型
2. 通信系统模型
3. 信息论的研究内容
4. 本书章节结构

第一章 绪论

学一个东西，我们脑子里出现的第一个问题就是：这是个什么东西？

这门课叫“信息论与编码”。那么问题来了：“信息论”是个什么东西？“编码”是用来干什么的？

为便于理解，在正式开始本书内容之前，先看一点“不正式”的东西，就叫做“正式内容前”吧。

0 正式内容前--信息论的概念、形成和发展

（1）信息是什么？

信息论是研究信息的理论，但：“信息是什么”？

奥古斯丁曾对“时间是什么”有过思考：“时间是什么？如果无人问我则我知道，如果我欲对发问者说明则我不知道”。

“信息”大概也类似。没有人问的时候，我们都以为我们当然知道什么是信息；但当人问起的时候，事实上我们不怎么知道。很多事情皆如此：我们以为非常熟悉的，我们甚至并不真正知道。

麦克斯韦妖：一个绝热容器被分成相等的两格，中间是由“妖”控制的一扇小“门”，容器中的空气分子作无规则热运动时会向“门”上撞击，“门”可以选择性的将速度较快的分子放入一格，而较慢的分子放入另一格，这样，其中的一格就会比另外一格温度高，可以利用此温差，驱动热机做功。这是第二类永动机的一个范例。

永动机当然不可能实现。但麦克斯韦妖的假说也告诉我们：如果我们知道某些信息（比如分子的运动速度），我们确实可以把无序的系统（比如绝热容器内做无规则分子运动的气体）变得更有序一些（按分子运动速度快慢分成两个部分）。

信息论的创始人香农给信息下了一个定义：信息是能使不确定性减少或者消除的东西。

绝热容器内无规则运动的气体分子，其状态是不确定的。麦克斯韦妖通过获知分子运动速度的快慢（信息），可以将其分成温度不同的两个部分，虽然分子的状态还不是完全确定的，但至少已经部分确定了（一部分运动的快，一部分运动的慢），或者说：分子状态的不确定性减少了。

掷硬币的时候，告诉你掷出的是哪一面（获得信息），则关于掷硬币的结果，从完全未知变成了完全已知，不确定性消除了。

掷骰子的时候，告诉你掷出的是几（获得信息），则关于骰子上面的点数，从完全未知变成了完全已知，不确定性消除了。

所以，信息是什么？信息是能使不确定性减少或者消除的东西。

当然，上述有关“信息”含义的解释，只是众多解释中的一种（香农的解释）。实际上，有关信息的定义，不下几十种。或者也可以说，没有一个统一的有关信息的定义和解释。

这有点像著名的古代故事瞎子摸象：

从前有个王公，对他的仆人说，“去找十个天生的瞎子到我的宫殿来……并展示给他们一头大象” 。仆人按照王公的命令完成了差遣。当盲人到来的时候，王公对他们说：“这里是一头大象，检查它，然后告诉我大象是种什么东西”。

第一个个子高的盲人发现了大象的头，他说“大象像个大罐子”；

第二个个子矮的盲人触摸到大象的腿，他声称“大象像个柱子”；

第三个盲人是个办事有条不紊的人，他仔细听并感觉大象摆动耳朵扇动的空气，然后抓住大象的耳朵，感觉到它稀疏蓬乱的毛发，他高兴地笑起来，说道：“这头大象像把扇子”；

第四个非常谦逊的盲人触摸着大象的尾巴，他说“大象像一根有些磨损的绳子”；

第五个是胆大的盲人，他走近了这头大象的长牙，感觉长牙坚硬光滑乳白色的表面和长牙的尖头，他得出结论，“这大象像长矛一样坚硬和锋利”；

第六个个子矮小的盲人触摸到尾巴末端的一绺毛发，他说“大象像把刷子”；

第七个盲人触到大象的鼻子，他坚持大象像根树枝；

第八个总是慌慌张张的盲人撞到了大象的背部，他认为大象像个研钵；

第九个盲人个子很高，匆忙之中，他直接跑到了大象的侧边，他伸开他的手臂感觉这个动物宽大光滑的侧面，他说“这是个像一堵墙的动物”；

然后，这九个盲人开始争吵。

第十个盲人非常聪明，他静静地等着，不说话，直到所有其他人观察并说出他们的发现。他听了一会儿他们的争吵，然后在这头大象的周围转了转说：“我不知道一头大象像什么，这就是我打算写一部大象文章的原因，以证明不可能说出大象是种什么东西”。

这也是我写这本关于信息论的书的原因，用于证明不可能说出信息是种什么东西。

注：部分内容引自（美）布尔金著，王恒君等译，“信息论本质·多样性·统一”，知识产权出版社，2015年。

（2）信息的度量

毕达哥拉斯说：“万物皆数”。

那么，信息的多少，也得有个“数”，叫做信息的量，简称信息量。

所以我们一定会问：“知道了掷硬币的结果”，相比“知道了掷骰子的结果”，哪个获得更多的信息量？各获得多少信息量？

既然“信息是能使不确定性减少或者消除的东西”，获得多少信息，就可以使不确定性减少多少。或者说，通过某种途径使不确定性减少了多少，你就通过这种途径获得了多少信息。

因此，（从某个途径获得的）信息的多少（信息量）=事件不确定性的减少量。

也可以说成：这个不确定事件本身包含的信息量，等于完全消除其不确定性所需的信息量。

盘古开天辟地，可以假定盘古知道天地间所有的事。当我们遇到不能确定答案的事儿时，我们可以去问他。不过盘古有点故弄玄虚，所有的问题只回答“是”或者“否”。因此，我们不能问盘古“刚才掉到大海里的硬币是正面朝上还是反面朝上”，而可以问“刚才掉到大海里的硬币是正面朝上吗（或者：“是反面朝上吗？”，效果是一样的）”？当盘古回答“是”（或者“否”，效果是一样的）时，你关于硬币面的朝向问题的不确定性就完全消除了。你得到了一定量的信息。

有多少信息呢？

所有的度量，都需要定义一个基本单位。1米被定义为光在真空中行进1/299792458秒的距离；1秒被定义为铯-133原子基态的两个超精细能阶之间跃迁时所辐射的电磁波的周期的9,192,631,770倍的时间。

于是，我们定义信息量的基本单位为比特（bit），1比特定义为你从盘古回答你一个“是”（或者“否”，效果一样）所获得的信息量。

所以，2选1的不确定事件，知道答案后获得的信息量是1比特（因为只要盘古回答一次“是”或者“否”即可完全知道答案），换句话说：2选1的不确定事件，只要获得1比特的信息量，就可以完全消除其不确定性（此处假定两个选项等概率出现，不等概率的情况后面再讨论，下同）；或者说：2选1的不确定性里面，包含了1比特的信息。

4选1的不确定事件呢？你可以通过问盘古两次得到准确的答案：有A、B、C、D四个备选答案，你可以通过两两分组，通过两次提问得到明确的答案（比如：第1次你可以问盘古，答案是A、B之一吗？如回答“是”，则第2次你可以问，是Ａ吗？），所以，4选1的不确定性事件，知道答案后获得的信息量是2比特；换句话说：4选1的不确定事件，只要获得2比特的信息量，就可以完全消除其不确定性；或者说：4选1的不确定性里面，包含了2比特的信息。

8选1的不确定事件，可以通过3次二分分组，得到答案，所以包含3比特的信息。

……

以此类推，n选1的不确定事件，包含有比特的信息。为简单起见，我们经常把上述以2为底的对数中的“2”省略，简写为。

可选项越多，不确定越大，包含的信息量就越多。

换个角度来看：可选项越多，不可预测性越大（不确定性越大），每个选项是正确答案的概率越小（2选1的时候每个选项是正确答案的概率是1/2，4选1的时候是1/4，8选1的时候是1/8，…，n选1的时候是1/n），其包含的信息量越多。