信息论中的基础概念介绍

将陆续更新信息论的相关知识

Claude Shannon

信息论由Claude Shannon最早提出的，用于研究信息的量化等方法。

熵(Entropy)

熵最早是一个物理学概念。例如，熵增、熵减等等，熵增大表示无序状态程度越大。还记得老师举过的一个例子，下课后，满校园都是人，说明熵增大了。坐在教室里，熵就是减小了。
在信息论中，熵用来衡量一个随机事件的不确定性。