信息的度量和作用

1948年，香农的著名论文《通信的数学原理》提出了信息熵的概念，才解决了信息的度量问题，并量化出信息的作用。
1.信息熵

2.信息的作用
信息的作用就是消除不确定性。
几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程。
实际中，相关性的信息也能消除不确定性，为此理论上引入条件熵概念：

3.互信息
香农在信息论中提出了一个互信息的概念作为两个随机事件”相关性“的量化度量：