信息论概念集合

通信的目的：传递信息

通信的基本任务：在接收端将发送端发出的消息从形式上恢复出来

信息量的三个基本要求：概率的函数，满足可加性，概率值越小信息量越大

信息量：获得信息前后不确定性的消除量

H(X/Y)≤H(X)：具有某种相关性的两随机变量，一个随机变量的出现总是有助于降低另一个随机变量的不确定性

---

先验概率p(x)：信源符号的概率
后验概率p(x/y)：接收端收到的符号为y_j时，发送端发送的符号为x_i的概率
转移概率p(y/x)：发送端发送的符号为x_i时，接收端收到的符号为y_j的概率
p(x/y)=p(x)p(y/x)/p(y)

离散无记忆信道：信道输出的每个符号只与当前输入的符号有关

对称信道：输入符号集和输出符号集相同。对称信道的H(X/Y)仅由信道的特性，即转移概率决定。此时若输入等概，则输出也等概，p(y/x)=p(x/y)

互信息量I(x_i;y_j)：接收端收到的符号为y_j时，有关符号x_i的不确定性的消除量
若p(x/y)＜p(x)，则y_j的出现非但不能