信息论的基本概念和熵的计算

最近学习过信息论  ，想分享下个人学习得一些对知识和理解同时希望能够帮助下需要帮助的同学

1 基本概念

信号：信号是消息的物理体现，为了在信道上传输消息，就必须把消息转换成信号，比如：电信号、光信号、声信号。

消息：在电话、广播、电视等中传输的是各种各样的消息。消息是指包含有信息的语言、文字和图像等，能被人们的感觉器官所感知。消息描述的是某事物状态的具体内容。

信息：表示事物的运动状态和状态变化的方式，是抽象的意识或者知识，是看不见、摸不着的。得到消息后，人在大脑中形成自己的理解，自己的感受，就是信息。

2、什么叫信息，信息的作用是什么？

信息就是我们日常获取的东西，常常对一件事情的判断存在不确定性，那如何来衡量我们获取的信息量的大小呢，可以通过信息量的大小来衡量

原先的不确定性全部被消除了，就表示获得了全部的信息，不存在不确定性了