haohs28的博客

原创 第一章 信息化发展

1948年，数学家香农（信息论之父）在题为《通信的数学理论》的论文中指出：“信息是用来消除随机不定性的东西创建了一切宇宙万物的最基本单位是信息。并确定了信息量的单位为比特（bit）。1比特的信息量，在变异度为2的最简单情况下，就是能消除非此即彼的不确定性所需要的信息量。这里的“变异度”是指事物的变化状态空间为2，例如大和小、高和低、快和慢等。香农将热力学中的熵引入了信息论。在热力学中，熵是系统无序程度的度量，而信息与熵正好相反，信息是系统有序程度的度量，表现为负熵。负熵计算公式。