imut_du信息论2020-8-31

1、定义:
（1）信源熵：信源包含多少信息
（2）编码：信道中的传输形式
（3）信道容量：信道能传送多少信息
（4）检纠错：信宿接收的信息是否正确
2、从本体论和认识论理解什么是信息
本体论：信息论是事物运动状态和状态改变的方式
认识论：信息是认识主体（生物或机器）所感知的或所表述的相应的事物的运动状态及其变化方式、（包括状态及其变化方式的形式含义和效用）
3、信息论主要研究全信息中表示事物外在形式的语法信息
4、信息特点：

5、信号、消息、信息
（1）消息：消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等，是具体的
（2）信号：把消息的物理化体现，为了在信道上传输消息，就必须把消息加载到 具有某种特征的信号上去。是物理的
（3）信息：是消息中的位置成分（不确定性）或者是消息中的有用成分
通信系统传输的是信号，信号是消息的载体，消息中的位置成分是信息。
6、信息量评估
（1）事件发生的概率越小，事件含有的信息量越大
（2）消息随机变量的随机性越大。此消息随机变量含有的信息量越大
（3）两个消息随机变量相互依赖越大，他们的互信息量越大
7、信息分类