西点信息论课程学习笔记（一）

最近在看有关离散输入的信道容量的相关知识，发现其中的很多概念多不太熟悉了，为此觉决定重新学习一遍信息论，老师的讲解很多都让我耳目一新，为此记录一下学习笔记。
课程链接：https://www.bilibili.com/video/BV1Bs411H7Pi?from=search&seid=17858160577741732208

一：信息，消息，信号

信息：是事物运动状态或者存在方式的不确定性的描述。
消息：是信息的载体；例如包含信息的语言，文字和图像等等。
信号：是消息的物理体现。

举个例子，如下图：

1. 当收到0时，可以确定发送的信息是x1-x4。继续收到01时，可以确定发送的信息是x3，x4。收到011时，可以确定发送的信息是x4。可以看出，通过获得信息，我们在不断消除不确定性，，换句话说，信息就是消除的不确定性。
2. 上图中，x1-x8是消息，其中包含信息；码字输出000-111是信号，是消息的物理体现。信息我们从上图中看不见，它涉及到不确定性，但是我们可以感受到。

二.香农信息的定义

由于信息是由不确定描述的，因此可以用概率来度量的。
先介绍几个概念：

这里不确定性的大小是指发送端到底选择发送哪个符号，那么不确定性的大小一定是关于这个先验概率的一个函数。