【信息论是什么？信息，消息和信号？】信息论与编码入门（一）

写在前面的话

书：《信息论与编码》（第三版） 曹雪虹 张宗橙
课程：
信息论与编码(适用于期末考试)
课后习题
博客中出现的图片大多来自于斐多课程的视频，博客仅为个人笔记，仅供参考。

信息论的研究目的

1. 找到信息传输的共同规律 。
2. 信息论研究通信系统的整个过程，而非单个环节 。
3. 实现在有干扰的情况下，最佳的传输和准确（近似的）再现信息。
4. 提高信息传输的有效性，可靠性和安全性 。
5. 关心系统的理论极限和潜能，实现信息传输系统的最优化。

信息的定义

信息论理论的基础建立，一般来说开始于香农在研究通信系统是所发表的论文。所以在后续的笔记中，都会从通信系统进行分析。

点对点通信系统模型

点对点通信系统比较经典，这四个部分缺一不可，尤其是干扰和噪音。由于通信的不确定性，信息论往往和概率论有交集。所涉及的学科基础有概率论，随机过程和数理统计学。

信息，消息和信号

直白说就是，信息——消息——信号。三者呈现出前者由后者承载的关系。从抽象到具体。

什么是信息

信息这个概念由香农的研究而“确定”，信息本身就是不确定性的。

不确定性（信息量）的定性和定量描述

对数函数很好的表达了信息的不确定性，这也是后续提到的熵的概念，描述一个系统中的不确定性。所谓的信息量更多关注的是事物本身的不确定性，对于已知的事物我们往往不关心。

完善通信系统模型

信源：产生消息和消息序列的源

编码器：将消息变成适合信道传输的物理量

信道：传输，存储信号的媒介

译码器：对干扰+信号的反变换

信宿：消息传递的对象

加入加密和解密保证安全性。

编码器

去冗余：快递寄被子，将其中的空气抽出类似于去冗余（压缩等手段）。
加冗余：在包裹外放海绵保护快递，提高运输过程中消息的可靠性。