2020-10-19 信息论基础知识

信息：信息是事物运动状态或存在方式的不确定性的描述。（Shannon信息)

信息与消息：通信系统中传输的形式是消息；通信的实质是通过信息的传递，消除不确定性，获得信息。

信号：把消息变换成适合信道传输的物理量，这种物理量就称为 信号。

---

自信息：

联合自信息：

条件自信息：

---

信源的数学模型与分类

信源 信息测度:

信息熵：信息输出各消息的自信息量的数学期望为信源的平均自信息量，即：

 又称为信源X的信息熵或 熵。

这里的熵值的大小 取决于样本的概率分布（信源的概率矢量）。X代表研究对象。

（自信息的物理含义：I(a_i)代表 事件出现的不确定性     熵 代表信源平均不确定大小）

自信息的物理含义：I(a_i)代表 事件提供的信息量的大小     熵 平均每个信源符号携带的信息量的大小）

--条件熵（conditional entropy）:联合集XY上，条件自信息的平均值定义为条件熵，即

                    

 联合熵：联合集XY上，联合自信息的平均值定义为 联合熵，即