信息论与编码复习

若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。

信息率是通过接收到的信息可获得的发送信息的信息量,即互信息。单位:bit/符号。

信息速率是单位时间内传输的信息量。单位:bit/s

码字CodeWord。由若干个码元组成，计算机通信中通信表现为若干位二进制代码。

 自信息量是符号概率的对数－ｌｏｇＰ（对数底数为2）单位为bit，可简写为-lb 

信息熵是什么自信息（量）的数学期望，也是信息量。

每个符号的信息熵（接收到的每个符号自信息量的期望，均值，也是信息量）=发送出一个信源符号所需要的信息率（平均送出一个信源符号的信息量）

先验概率 （prior probability）是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.

遍历性

所谓各态历经，是指可以从过程的一个样本函数中获得它的各种统计特性；具有这一特性的随机过程称为具有各态历经性的随机过程。

遍历性是指统计结果在时间和空间上的统一性，表现为时间 均值等于空间均值。例如要得出一个城市A、B两座公园哪一个更受欢迎，有两种办法。第一种办法是在某一个时点考察两个公园的人数，人数多的为更受欢迎公园；第二种办法，随机选择一名市民，在一年的时间里考察他去两个公园的次数，去得多的为更受欢迎公园。如果这个两个结果始终一致，则表现为遍历性。

转载于:https://www.cnblogs.com/number10/archive/2013/05/23/3931157.html