应用信息论基础—绪论

• 从 Konw-how 走向 Konw-why
• Information Thoery

1. 信息是什么

• 信息是对不确定性的度量。
• 人们可以通过对不确定性的消除来获得信息。
• 信息是在一组不确定性的选择中，作出选择时所产生的产物。
  

---

2. 信息论产生的背景

---

3. 信息论的贡献

• 信源可以被建模为一个随机过程，可以用一个概率分布来进行表达。
• 信道可以被抽象为一个概率转移的矩阵：当输入的符号服从一个概率分布时，输出的符号会以一个条件概率的矩阵形式加以表达。
• 对信道的噪声进行了建模和表达。

---