【AI底层逻辑】——篇章3（上）：数据、信息与知识&香农信息论&信息熵

目录

引入

一、数据、信息、知识

二、“用信息丈量世界”

1、香农信息三定律

2、一条信息的价值

3、信息的熵

总结

---

引入

AI是一种处理信息的模型，我们把信息当作一种内容的载体，计算机发明以前很少有人思考它的本质是什么。随着通信技术的发展，很多关于信息处理的问题接踵而至，如不知如何把信息有效地编码成通信信号、如何在不可靠的网络环境下传输信息等。

人们发现，信息本身很难被定性或定量地描述清楚，它是一种逻辑概念，如果要通过计算机这样的物理装置准确传递出去，就必须对信息有一种全新的解读。中间有许多技术难点，关键一点是必须把信息处理转换成数学模型，另外一旦涉及通信问题，干扰信息的噪声就会无处不在，必须有方法处理它们。

一、数据、信息、知识

关于信息处理的理论称为信息论，专门研究有关信息处理和可靠传输的一般规律，它对于计算机技术的发展具有重大意义。为了阐释此理论，先简单介绍数据、信息、知识3个概念：

以一个实例引入：如随意给3个数字99、39、132，这三个数字仅仅是数据，现在给它们一些说明如鞋子价格